Bị loại trừ bởi thẻ 'noindex': ý nghĩa và cách khắc phục

Bị loại trừ bởi thẻ 'noindex': ý nghĩa và cách khắc phục

Bạn mở Google Search Console, thấy một loạt URL bị gắn trạng thái "Bị loại trừ bởi thẻ 'noindex'" và giờ những trang đó biến mất khỏi kết quả tìm kiếm.

Nếu bạn thấy một loạt URL có nhãn "Bị loại trừ bởi thẻ 'noindex'" trong Google Search Console, các trang của bạn đang bị cố ý giữ ngoài chỉ mục của Google, và cách khắc phục thường đơn giản hơn bạn nghĩ: tìm chỉ thị, xóa nó và yêu cầu Google thu thập dữ liệu lại.

Hướng dẫn này giải thích chính xác điều gì gây ra trạng thái này, cách xác định chỉ thị noindex là nguyên nhân và các bước cụ thể để xóa nó trên mọi CMS phổ biến, để các trang của bạn có thể xếp hạng trở lại. Bước kiểm tra tương tự chạy tự động trong Crawler của SEOcrawl AI, công cụ đánh dấu các chỉ thị noindex trên toàn bộ trang web mà không cần kiểm tra từng URL.

"Bị loại trừ bởi thẻ 'noindex'" trong Google Search Console có nghĩa là gì?

Trạng thái "Bị loại trừ bởi thẻ 'noindex'" có nghĩa là Googlebot đã thu thập dữ liệu trang của bạn, tìm thấy một chỉ thị noindex và tuân theo nó bằng cách giữ trang ngoài chỉ mục của Google. Trang của bạn sẽ không xuất hiện trong kết quả tìm kiếm chừng nào chỉ thị đó còn tồn tại.

Trạng thái này xuất hiện ở đâu trong GSC

Trong báo cáo Phạm vi lập chỉ mục cũ (được thay thế bằng báo cáo Lập chỉ mục trang vào năm 2022), trạng thái này nằm ở mục "Bị loại trừ". Trong báo cáo Lập chỉ mục trang hiện tại (Lập chỉ mục › Trang), bạn sẽ thấy nó ở mục "Chưa được lập chỉ mục", trong bảng "Lý do khiến trang không được lập chỉ mục", với lý do "Bị loại trừ bởi thẻ 'noindex'". Google gom tất cả URL bị ảnh hưởng dưới nhãn này để bạn có thể xuất và xem xét hàng loạt.

Cách Google phát hiện và tuân theo chỉ thị noindex

Tài liệu của Google về chặn lập chỉ mục bằng noindex mô tả hai cách truyền chỉ thị: thẻ <meta name="robots" content="noindex"> trong phần <head> HTML của trang, hoặc chỉ thị X-Robots-Tag: noindex trong tiêu đề phản hồi HTTP. Khi Googlebot gặp một trong hai, nó sẽ loại bỏ hoàn toàn trang khỏi chỉ mục, ngay cả khi trang đã từng được lập chỉ mục. Để nắm những kiến thức cơ bản về thẻ này, hãy xem hướng dẫn của chúng tôi về thẻ meta noindex.

Đây có phải lúc nào cũng là vấn đề? Khi nào việc loại trừ là có chủ đích

Không phải URL nào có trạng thái "Bị loại trừ bởi thẻ 'noindex'" cũng là lỗi. Trang quản trị, màn hình đăng nhập, quy trình giỏ hàng và thanh toán, trang cảm ơn và kết quả tìm kiếm nội bộ được cố ý giữ ngoài chỉ mục của Google. Nếu những trang đó có trạng thái này, hệ thống đang hoạt động đúng thiết kế. Vấn đề thực sự bắt đầu khi những trang bạn muốn xếp hạng bị gắn nhãn này.

Cây quyết định cho một URL bị loại trừ bởi thẻ noindex: nếu trang không nên xuất hiện trên Google, hãy giữ noindex và xóa trang khỏi sơ đồ trang web; nếu trang cần xếp hạng, hãy tìm nguồn gốc của noindex, xóa nó và yêu cầu lập chỉ mục
Cố ý hay vô tình? Hãy quyết định trước khi chỉnh sửa bất cứ thứ gì

Các nguyên nhân phổ biến của trạng thái "Bị loại trừ bởi thẻ 'noindex'"

Chỉ thị noindex có thể đến trang của bạn qua nhiều con đường khác nhau. Biết con đường nào đang hoạt động trên trang web sẽ quyết định cách khắc phục.

Thẻ meta robots có "noindex" trong <head>

Nguồn phổ biến nhất. Một dòng như <meta name="robots" content="noindex"> trong HTML của trang yêu cầu Googlebot không lập chỉ mục trang đó. Dòng này có thể được viết cố định trong template hoặc được chèn động bởi CMS, plugin hay một hàm của theme.

X-Robots-Tag trong tiêu đề phản hồi HTTP

X-Robots-Tag hoạt động giống hệt thẻ meta nhưng nằm trong tiêu đề phản hồi HTTP, không nằm trong HTML. Cấu hình máy chủ, quy tắc CDN hoặc các chỉ thị trong .htaccess có thể thêm nó vào. Ví dụ:

Header set X-Robots-Tag "noindex"

Chỉ thị này ảnh hưởng đến mọi tệp khớp với quy tắc, bao gồm cả PDF và hình ảnh không có phần <head> HTML. Nhiều chủ trang web hoàn toàn bỏ qua con đường này vì chỉ thị không hiển thị trong mã nguồn trang.

Cài đặt CMS vô tình chặn lập chỉ mục

WordPress có một ô đánh dấu trong Cài đặt › Đọc tên là "Ngăn chặn các công cụ tìm kiếm đánh chỉ mục website này". Khi ô này được chọn, WordPress thêm thẻ robots noindex vào mọi trang của trang web. Nhiều chủ trang web bật nó trong giai đoạn phát triển và quên bỏ chọn sau khi ra mắt.

Shopify có thể áp dụng noindex qua mã theme hoặc ứng dụng. Một số trang tài khoản và trang hệ thống được chính Shopify giữ ngoài chỉ mục, điều này là đúng, nhưng một chỉnh sửa theme hoặc một ứng dụng SEO có thể vô tình thêm noindex vào trang sản phẩm, bộ sưu tập hoặc blog.

Wix áp dụng noindex cho bất kỳ trang nào có cài đặt SEO ngăn công cụ tìm kiếm lập chỉ mục. Một nguyên nhân phổ biến là nhân bản một trang và vô tình kế thừa cài đặt noindex của trang gốc.

Xung đột plugin hoặc theme thêm noindex

Plugin SEO cho phép bạn đặt noindex cho từng bài viết, trang hoặc loại nội dung. Một quy tắc toàn cục bị cấu hình sai, một bản cập nhật plugin đặt lại cài đặt hoặc một theme ghi đè chỉ thị của plugin có thể lan noindex ra hàng chục trang cùng lúc. Nếu gần đây bạn đã cập nhật plugin hoặc đổi theme, hãy kiểm tra điều này trước tiên.

Cài đặt môi trường staging bị đẩy lên môi trường thật

Một nguồn gây ra thẻ noindex ngoài ý muốn phổ biến đến bất ngờ. Trang staging của bạn dùng noindex để tránh xuất hiện trên Google. Khi quy trình build đẩy cấu hình staging lên môi trường thật, chỉ thị noindex cũng đi theo. Việc này thường ảnh hưởng đến toàn bộ các phần của trang web cùng lúc và là một trong những nguyên nhân khó chẩn đoán nhất nếu bạn chỉ kiểm tra từng trang riêng lẻ.

Cách chẩn đoán những trang bị ảnh hưởng

Một quy trình chẩn đoán có thể lặp lại sẽ tìm ra mọi URL bị ảnh hưởng mà không cần phỏng đoán. Hãy bắt đầu với Search Console để lấy danh sách, sau đó đi sâu vào từng trang để tìm nguồn gốc.

Dùng báo cáo Lập chỉ mục trang để xuất các URL bị ảnh hưởng

Mở Google Search Console và vào Lập chỉ mục › Trang. Nhấp vào "Bị loại trừ bởi thẻ 'noindex'" trong bảng "Lý do khiến trang không được lập chỉ mục". Search Console hiển thị một mẫu các URL bị ảnh hưởng; hãy dùng nút Xuất để tải danh sách về và xử lý.

Kiểm tra một URL bằng Công cụ kiểm tra URL

Dán bất kỳ URL nào vào thanh tìm kiếm ở đầu Search Console. Công cụ kiểm tra URL cho biết Google có thấy chỉ thị noindex hay không và tìm thấy nó ở đâu: tại mục "Có cho phép lập chỉ mục không?", công cụ cho biết noindex đến từ thẻ meta robots hay từ tiêu đề HTTP X-Robots-Tag. Nhấp vào Xem trang đã thu thập dữ liệu để xem chính xác HTML mà Googlebot nhận được. Đây là cách kiểm tra một trang nhanh nhất hiện có.

Kiểm tra mã nguồn trang để tìm thẻ meta noindex

Mở trang trong trình duyệt, nhấp chuột phải và chọn Xem nguồn trang, sau đó tìm "noindex" (Ctrl+F hoặc Cmd+F). Nếu bạn thấy <meta name="robots" content="noindex"> hoặc nội dung tương tự, thẻ meta chính là thủ phạm. Nếu không thấy trong mã nguồn, chỉ thị có thể đến từ tiêu đề HTTP.

Dùng DevTools của trình duyệt để kiểm tra tiêu đề HTTP

Mở DevTools (F12, hoặc nhấp chuột phải › Kiểm tra), vào tab Network, tải lại trang và nhấp vào yêu cầu tài liệu chính. Tìm X-Robots-Tag: noindex trong phần Response Headers. Đây là cách duy nhất ngay trong trình duyệt để phát hiện các chỉ thị noindex qua tiêu đề vốn không xuất hiện trong HTML.

Thu thập dữ liệu trang web bằng Screaming Frog hoặc SEOcrawl AI

Để chẩn đoán toàn trang web, một crawler sẽ tìm ra mọi trang bị ảnh hưởng chỉ trong một lần quét. Screaming Frog SEO Spider có thể lọc trang theo khả năng lập chỉ mục dựa trên thẻ meta và tiêu đề. Crawler của SEOcrawl AI thu thập dữ liệu mọi trang, đánh dấu từng trang có chỉ thị noindex trong mục Khả năng lập chỉ mục và trả về Audit Health Score, để bạn thấy toàn bộ phạm vi vấn đề mà không phải xuất và lọc thủ công.

Bốn cách tìm noindex: Công cụ kiểm tra URL phát hiện cả thẻ meta lẫn tiêu đề; xem nguồn trang chỉ phát hiện thẻ meta; tiêu đề phản hồi trong DevTools chỉ phát hiện X-Robots-Tag; thu thập dữ liệu toàn trang web phát hiện cả hai trên mọi trang
Cách kiểm tra nào tìm ra loại noindex nào

Cách khắc phục "Bị loại trừ bởi thẻ 'noindex'": từng bước

Đây là phần thực hành nhiều nhất. Hãy áp dụng cách khắc phục phù hợp với kết quả chẩn đoán ở phần trước.

Xóa thẻ meta noindex khỏi mã nguồn trang

Chỉnh sửa template hoặc nội dung trang để xóa <meta name="robots" content="noindex"> khỏi phần <head> HTML. Với các trang web tự xây dựng, hãy kiểm tra trực tiếp các tệp template. Nếu thẻ được chèn bằng JavaScript, hãy tìm đoạn script chịu trách nhiệm rồi xóa nó hoặc thêm điều kiện.

Trước:

<meta name="robots" content="noindex">

Sau:

<meta name="robots" content="index, follow">

Hoặc đơn giản là xóa hẳn thẻ. Google coi việc không có chỉ thị noindex là "cho phép lập chỉ mục".

Sửa X-Robots-Tag trong cấu hình máy chủ hoặc CDN

Kiểm tra .htaccess (Apache), nginx.conf (Nginx) hoặc các quy tắc CDN để tìm chỉ thị X-Robots-Tag: noindex. Hãy xóa chúng, hoặc giới hạn chúng ở những đường dẫn cụ thể cần loại trừ thay vì các trang bạn muốn được lập chỉ mục. Ví dụ, bạn có thể giữ noindex trên /staging/ và xóa nó khỏi /blog/.

Cách khắc phục trên WordPress

Hai bước kiểm tra, theo thứ tự:

  1. Cài đặt toàn trang web: vào Cài đặt › Đọc và bỏ chọn "Ngăn chặn các công cụ tìm kiếm đánh chỉ mục website này". Đây là nguyên nhân phổ biến nhất gây ra lỗi noindex trên toàn trang web trong WordPress.
  2. Cài đặt từng trang trong plugin SEO:
    • Yoast SEO: mở bài viết hoặc trang, cuộn đến hộp meta Yoast, nhấp vào tab Advanced và đặt "Allow search engines to show this content in search results?" thành "Yes".
    • Rank Math: mở bài viết, đến hộp meta Rank Math, nhấp vào tab Advanced và đặt "Robots Meta" thành "Index".
    • All in One SEO: chỉnh sửa bài viết, mở tab Advanced trong cài đặt AIOSEO và đảm bảo "No Index" không được chọn trong cài đặt robots.

Đồng thời kiểm tra cài đặt toàn cục của từng plugin xem có loại nội dung nào (thẻ, chuyên mục, loại bài viết tùy chỉnh) bị đặt noindex hay không. Với phần còn lại của việc thiết lập WordPress, hãy xem hướng dẫn của chúng tôi về kết nối WordPress với Google Search Console.

Cách khắc phục trên Shopify

Trên Shopify, noindex thường đến từ mã theme hoặc một ứng dụng. Mở Online Store › Themes › Edit code và tìm trong theme.liquid cùng các template trang xem có thẻ meta robots chứa noindex không. Sau đó kiểm tra các ứng dụng SEO xem có quy tắc nào ẩn sản phẩm, bộ sưu tập hoặc bài viết blog, và mọi sản phẩm hay trang dùng metafield seo.hidden. Các trang tài khoản và trang hệ thống khác được Shopify giữ ngoài chỉ mục và nên để nguyên như vậy.

Cách khắc phục trên Wix, Squarespace và các công cụ tạo website khác

Wix: mở cài đặt SEO của trang (từ menu trang) và bật "Let search engines index this page". Nếu bạn đã nhân bản một trang, bản sao có thể đã kế thừa cài đặt noindex từ trang gốc.

Squarespace: kiểm tra cài đặt SEO toàn trang web xem có tùy chọn nào ẩn trang web khỏi công cụ tìm kiếm không. Với từng trang riêng lẻ, hãy mở cài đặt trang và tìm "Hide page from search results" trong tab SEO. Squarespace cũng mặc định giữ một số trang hệ thống, như giỏ hàng, ngoài kết quả tìm kiếm.

Sau khi khắc phục: yêu cầu lập chỉ mục lại trong Google Search Console

Xóa thẻ noindex cho Google biết rằng nó có thể lập chỉ mục trang, nhưng bạn vẫn cần Googlebot thu thập dữ liệu lại để xác nhận thay đổi.

Dùng Công cụ kiểm tra URL để yêu cầu lập chỉ mục

Dán URL đã sửa vào thanh tìm kiếm của Search Console. Nhấp vào Kiểm tra URL trực tiếp để xác nhận rằng việc lập chỉ mục hiện đã được cho phép, sau đó nhấp vào Yêu cầu lập chỉ mục. Google sẽ đưa URL vào hàng đợi thu thập dữ liệu lại. Bạn có thể gửi nhiều URL theo cách này, nhưng Search Console giới hạn số lượng yêu cầu mỗi ngày.

Google mất bao lâu để lập chỉ mục lại một trang?

Thường từ vài ngày đến vài tuần, tùy vào tần suất Googlebot thu thập dữ liệu trang web của bạn. Các trang web có lưu lượng cao và cập nhật thường xuyên được thu thập dữ liệu lại nhanh hơn; trang web mới hoặc ít lưu lượng có thể phải chờ nhiều tuần. Yêu cầu lập chỉ mục là tín hiệu nhanh nhất bạn có thể gửi, nhưng không phải là sự đảm bảo: nó đưa URL của bạn vào hàng đợi thu thập dữ liệu chứ không buộc Google thu thập lại ngay lập tức.

Gửi sơ đồ trang web XML đã cập nhật để đẩy nhanh việc thu thập dữ liệu

Nếu bạn đã sửa nhiều trang cùng lúc, hãy gửi một sơ đồ trang web XML đã cập nhật trong mục Sơ đồ trang web của Search Console. Việc này báo hiệu rằng trang web của bạn đã thay đổi và khuyến khích một đợt thu thập dữ liệu lại rộng hơn. Một sơ đồ trang web sạch, không chứa URL có noindex, cũng giúp tránh gửi tín hiệu mâu thuẫn, điều chúng ta sẽ đề cập ngay sau đây.

Khi nào bạn nên giữ thẻ noindex (loại trừ có chủ đích)

Không phải thẻ noindex nào cũng cần xóa. Một số trang không bao giờ nên xuất hiện trong kết quả tìm kiếm, và việc lập chỉ mục chúng sẽ thêm các trang mỏng hoặc trùng lặp vào cái nhìn của Google về trang web của bạn, đồng thời lãng phí sự chú ý khi thu thập dữ liệu.

Những trang không bao giờ nên được lập chỉ mục

  • Trang đăng nhập và đăng ký
  • Trang giỏ hàng, thanh toán và xác nhận đơn hàng
  • Trang kết quả tìm kiếm nội bộ (để tránh nội dung trùng lặp)
  • Trang cảm ơn (lead magnet, gửi biểu mẫu)
  • Trang quản trị và backend
  • Môi trường staging và phát triển
  • Trang bộ lọc và tham số tạo ra URL trùng lặp

noindex và robots.txt: những khác biệt chính

robots.txt chặn thu thập dữ liệu. noindex cho phép thu thập dữ liệu nhưng chặn lập chỉ mục. Nếu bạn chặn một trang trong robots.txt, Googlebot sẽ không bao giờ đọc được trang đó, nghĩa là nó cũng không bao giờ thấy thẻ noindex. Nếu bạn muốn một trang nằm ngoài chỉ mục, hãy dùng noindex. Nếu bạn muốn Googlebot bỏ qua hoàn toàn trang đó (để tiết kiệm ngân sách thu thập dữ liệu), hãy dùng robots.txt.

Một sai lầm phổ biến: dùng robots.txt để chặn một trang đã được lập chỉ mục. Google không thể thấy thẻ noindex nếu không thể thu thập dữ liệu trang, nên URL có thể vẫn nằm trong chỉ mục với tiêu đề và đoạn trích đã lỗi thời. Cách làm đúng là cho phép thu thập dữ liệu và dùng noindex để xóa trang khỏi chỉ mục.

Thẻ canonical và noindex: chọn đúng chỉ thị

Một thẻ canonical (rel="canonical") cho Google biết "trang này là bản sao của URL kia, hãy xếp hạng URL đó thay thế". Thẻ noindex cho Google biết "đừng lập chỉ mục trang này". Chúng phục vụ những mục đích khác nhau:

  • Dùng canonical khi bạn có nội dung trùng lặp hoặc gần trùng lặp và muốn hợp nhất tín hiệu xếp hạng về một URL.
  • Dùng noindex khi trang không được phép xuất hiện trong kết quả tìm kiếm trong bất kỳ trường hợp nào.

Kết hợp cả hai trên cùng một trang sẽ gửi tín hiệu mâu thuẫn: một bên nói "gộp trang này vào URL khác", bên kia nói "loại bỏ nó". Hãy chọn chỉ thị phù hợp với điều bạn muốn.

So sánh noindex, Disallow trong robots.txt và rel=canonical: noindex cho phép Google thu thập dữ liệu nhưng giữ trang ngoài chỉ mục; robots.txt ngừng thu thập dữ liệu nhưng có thể để một URL đã được lập chỉ mục ở lại trong kết quả; canonical vẫn thu thập dữ liệu và hợp nhất tín hiệu về một URL khác
noindex, robots.txt hay canonical: chọn đúng công cụ

Ngăn chặn thẻ noindex ngoài ý muốn trong tương lai

Khắc phục sự cố noindex sau khi xảy ra là cần thiết, nhưng phòng ngừa sẽ giúp bạn tiết kiệm hàng giờ chẩn đoán và tránh mất lưu lượng truy cập.

Thiết lập cảnh báo Search Console khi số trang được lập chỉ mục giảm

Google Search Console gửi email cho chủ sở hữu và người dùng đã xác minh khi phát hiện các vấn đề lập chỉ mục mới trên một tài sản. Hãy đảm bảo thông báo qua email đã được bật trong tùy chọn email của Search Console. Nếu số trang được lập chỉ mục giảm đột ngột, cảnh báo sẽ giúp bạn phản ứng sớm trước khi lưu lượng truy cập giảm theo.

Thêm bước kiểm tra noindex vào checklist QA trước khi ra mắt

Trước khi triển khai bất kỳ trang web nào hoặc đẩy staging lên môi trường thật, hãy kiểm tra các chỉ thị noindex. Một lần kiểm tra 30 giây bằng "Xem nguồn trang" và tìm "noindex" sẽ phát hiện lỗi triển khai phổ biến nhất. Với các trang web lớn hơn, hãy thu thập dữ liệu trước và sau khi triển khai rồi so sánh số trang có noindex. Hãy thêm bước này vào checklist SEO kỹ thuật của bạn để không ai bỏ qua.

Lên lịch thu thập dữ liệu để phát hiện chỉ thị noindex ngoài ý muốn

Chạy thu thập dữ liệu toàn bộ theo lịch, và sau mỗi lần cập nhật plugin, đổi theme hoặc di chuyển trang web, để phát hiện các thẻ noindex ngoài ý muốn trước khi chúng làm bạn mất lưu lượng truy cập. Crawler của SEOcrawl AI cho phép bạn so sánh các lần thu thập dữ liệu, để bạn thấy trang nào đã chuyển sang noindex và vào thời điểm nào, còn SEO Monitor sẽ cảnh báo bạn ngay khi một trong các trang quan trọng bị gắn thẻ noindex.

Câu hỏi thường gặp

"Bị loại trừ bởi thẻ 'noindex'" trong Google Search Console có nghĩa là gì?

Điều này có nghĩa là Google đã tìm thấy và tuân theo một chỉ thị noindex trên trang của bạn, vì vậy trang sẽ không xuất hiện trong kết quả tìm kiếm. Trạng thái này nằm trong báo cáo Lập chỉ mục trang của Search Console, ở mục "Chưa được lập chỉ mục".

Đây không phải lúc nào cũng là lỗi: những trang bạn cố ý loại trừ, như trang đăng nhập hoặc thanh toán, nên có trạng thái này.

Làm cách nào để khắc phục "Bị loại trừ bởi thẻ 'noindex'" trên WordPress?

Hãy kiểm tra hai chỗ theo thứ tự. Trước tiên, vào Cài đặt › Đọc và đảm bảo ô "Ngăn chặn các công cụ tìm kiếm đánh chỉ mục website này" đã được bỏ chọn. Sau đó, mở từng bài viết hoặc trang bị ảnh hưởng trong plugin SEO của bạn (Yoast, Rank Math, All in One SEO) và xác nhận rằng cài đặt robots của từng trang cho phép lập chỉ mục.

Sau khi xóa noindex, Google mất bao lâu để lập chỉ mục trang?

Thường từ vài ngày đến vài tuần, tùy vào tần suất Googlebot thu thập dữ liệu trang web của bạn. Sau khi xóa chỉ thị, hãy yêu cầu lập chỉ mục bằng Công cụ kiểm tra URL và gửi sơ đồ trang web XML đã cập nhật để đẩy nhanh quá trình. Các trang web có lưu lượng truy cập cao được thu thập dữ liệu lại nhanh hơn so với trang web mới hoặc ít lưu lượng.

Một trang có thể bị loại trừ bởi noindex ngay cả khi nằm trong sơ đồ trang web không?

Có. Chỉ thị noindex được ưu tiên hơn việc trang có mặt trong sơ đồ trang web. Google vẫn có thể thu thập dữ liệu URL từ sơ đồ trang web, nhưng sẽ không lập chỉ mục khi noindex còn tồn tại.

Hãy xóa noindex để trang có thể được lập chỉ mục, hoặc xóa URL khỏi sơ đồ trang web nếu việc loại trừ là có chủ đích. Liệt kê các URL có noindex trong sơ đồ trang web sẽ gửi tín hiệu mâu thuẫn.

noindex khác gì so với việc chặn trang trong robots.txt?

robots.txt ngăn Googlebot thu thập dữ liệu trang; noindex cho phép thu thập dữ liệu nhưng ngăn lập chỉ mục. Nếu bạn chặn một trang bằng robots.txt, Google không thể đọc thẻ noindex, nên một trang đã được lập chỉ mục có thể vẫn nằm trong chỉ mục với nội dung cũ. Hãy dùng noindex để xóa trang khỏi chỉ mục, và chỉ dùng robots.txt khi bạn muốn ngăn thu thập dữ liệu hoàn toàn.

Làm cách nào để kiểm tra một trang có thẻ noindex hay không?

Có ba cách, từ nhanh nhất đến kỹ lưỡng nhất: dùng Công cụ kiểm tra URL trong Search Console, xem mã nguồn trang và tìm "noindex" (Ctrl+F), hoặc kiểm tra các tiêu đề phản hồi HTTP trong DevTools của trình duyệt (tab Network, tìm X-Robots-Tag). Chỉ Công cụ kiểm tra URL và DevTools phát hiện được noindex gửi qua tiêu đề.

Tôi có nên lo lắng nếu nhiều trang hiển thị "Bị loại trừ bởi thẻ 'noindex'" không?

Chỉ khi những trang đó cần được lập chỉ mục. Hãy xuất danh sách từ Search Console, so sánh với những trang bạn cố ý loại trừ (đăng nhập, giỏ hàng, quản trị, trang cảm ơn) và chỉ sửa những trang cần xếp hạng trên kết quả tìm kiếm. Nếu mọi trang bị ảnh hưởng đều là trang bạn cố ý loại trừ, trạng thái này đang hoạt động đúng.

Tác giả: David Kaufmann

David Kaufmann

Tôi đã dành hơn 10 năm qua hoàn toàn đắm chìm trong SEO — và thành thật mà nói, tôi không muốn điều gì khác thay thế.

Sự nghiệp của tôi bước sang một tầm cao mới khi tôi làm việc với vai trò chuyên gia SEO cấp cao tại Chess.com — một trong 100 website được truy cập nhiều nhất trên toàn bộ internet. Vận hành ở quy mô đó, trên hàng triệu trang, hàng chục ngôn ngữ và trong một trong những SERPs cạnh tranh khốc liệt nhất, đã dạy tôi những điều mà không khóa học hay chứng chỉ nào có thể mang lại. Trải nghiệm đó đã thay đổi cách tôi nhìn nhận về SEO thực sự xuất sắc — và trở thành nền tảng cho mọi thứ tôi xây dựng từ đó đến nay.

Từ kinh nghiệm ấy, tôi đã sáng lập SEO Alive — một agency dành cho những thương hiệu thực sự nghiêm túc với tăng trưởng organic. Chúng tôi không ở đây để bán dashboards và báo cáo hàng tháng. Chúng tôi ở đây để xây dựng những chiến lược thực sự tạo ra chuyển biến, kết hợp tinh hoa của SEO truyền thống với thế giới mới đầy thú vị của Generative Engine Optimization (GEO) — đảm bảo thương hiệu của bạn không chỉ xuất hiện trong các liên kết xanh của Google, mà còn hiện diện ngay trong những câu trả lời do AI tạo ra mà ChatGPT, Perplexity và Google AI Overviews đang cung cấp cho hàng triệu người mỗi ngày.

Và bởi vì tôi không thể tìm được một công cụ xử lý tốt cả hai thế giới đó, tôi đã tự xây dựng một công cụ — SEOcrawl AI, một nền tảng SEO intelligence cấp doanh nghiệp tích hợp rankings, kiểm tra kỹ thuật, giám sát backlinks, tình trạng crawl và theo dõi hiển thị thương hiệu trên AI, tất cả trong một nơi. Đó chính là nền tảng mà tôi luôn ước có.

→ Đọc tất cả bài viết của David
Thêm bài viết của David Kaufmann

Khám phá thêm nội dung của tác giả này