Thẻ Meta Robots giữ vai trò quan trọng trong việc kiểm soát quá trình thu thập và lập chỉ mục website của công cụ tìm kiếm, từ đó tác động trực tiếp đến khả năng hiển thị trên trang kết quả. Trong bài viết này, HostingViet sẽ phân tích chi tiết khái niệm Meta Robots cũng như cách áp dụng thẻ này đúng chuẩn SEO và hiệu quả nhất.
Thẻ Meta Robots là gì?
Thẻ Meta Robots là một đoạn HTML cung cấp hướng dẫn cho công cụ tìm kiếm thu thập dữ liệu, lập chỉ mục và hiển thị từng trang cụ thể trên kết quả tìm kiếm của Google. Nó là một yếu tố quan trọng trong SEO Onpage.
Thẻ này được khai báo trong phần <head> của trang web và có cú pháp cơ bản như sau:
<meta name="robots" content="noindex">
Sử dụng đúng thẻ Meta Robots giúp website kiểm soát hiệu quả khả năng hiển thị của từng trang, đồng thời hỗ trợ tối ưu chiến lược SEO tổng thể.
Tầm quan trọng của Meta Robots trong SEO
Thẻ Meta Robots thường được sử dụng để kiểm soát việc hiển thị trang trên kết quả tìm kiếm, đặc biệt trong các trường hợp cần ngăn công cụ tìm kiếm lập chỉ mục. Tuy nhiên, ngoài mục đích này, thẻ Meta Robots còn đóng vai trò quan trọng trong việc quản lý chiến lược SEO tổng thể.
Một số loại nội dung nên hạn chế lập chỉ mục bao gồm:
- Trang có nội dung mỏng, ít giá trị hoặc không mang lại lợi ích cho người dùng.
- Trang chứa thông tin riêng tư hoặc dữ liệu nhạy cảm.
- Trang kết quả tìm kiếm nội bộ của website.
- Trang đích phục vụ quảng cáo trả phí (paid search).
- Nội dung trùng lặp.
- Các trang giới thiệu chương trình khuyến mãi, cuộc thi hoặc sản phẩm chưa ra mắt.
Khi website mở rộng quy mô, việc kiểm soát quá trình thu thập dữ liệu và lập chỉ mục trở nên đặc biệt quan trọng. Sự kết hợp hợp lý giữa thẻ Meta Robots, X-Robots-Tag, tệp robots.txt và sitemap sẽ giúp công cụ tìm kiếm hiểu rõ cấu trúc website và tối ưu hiệu quả SEO.
Ngoài ra, việc sử dụng thẻ Meta Robots còn hỗ trợ quản lý crawl budget hiệu quả hơn. Do công cụ tìm kiếm chỉ có ngân sách thu thập dữ liệu giới hạn, việc loại bỏ các trang không cần thiết khỏi quá trình lập chỉ mục sẽ giúp bot tập trung vào những trang có giá trị cao, từ đó cải thiện khả năng hiển thị tổng thể của website.
Các thuộc tính của thẻ Meta robots
Thẻ Meta Robots bao gồm hai thuộc tính chính là name và content. Cách thiết lập giá trị cho hai thuộc tính này sẽ quyết định cách công cụ tìm kiếm thu thập dữ liệu, lập chỉ mục và hiển thị trang trên kết quả tìm kiếm.
Dưới đây là các thuộc tính Meta Robots phổ biến và cách sử dụng:
|
Tên thẻ |
Cấu trúc thẻ |
Tác dụng |
Ứng dụng |
|
All |
<meta name="robots" content="all" /> |
||
|
Noindex |
<meta name="robots" content="noindex" /> |
Ngăn công cụ tìm kiếm thu thập và đưa trang vào chỉ mục kết quả tìm kiếm. |
Sử dụng khi bạn không muốn trang xuất hiện trên trang kết quả tìm kiếm. |
|
Nofollow |
<meta name="robots" content="nofollow" /> |
Không cho bot theo dõi các liên kết trên trang, nhưng vẫn cho phép lập chỉ mục nội dung trang. |
|
|
None |
<meta name="robots" content="none" /> |
Kết hợp đồng thời hai thuộc tính noindex và nofollow, vừa ngăn lập chỉ mục vừa không cho bot theo dõi liên kết. |
Sử dụng khi bạn không muốn trang được lập chỉ mục và đồng thời ngăn bot thu thập liên kết. |
|
Noarchive |
<meta name="robots" content="noarchive" /> |
Không cho Google hiển thị phiên bản lưu trữ (cache) của trang trên kết quả tìm kiếm. |
|
|
Notranslate |
<meta name="robots" content="notranslate" /> |
Không cho Google hiển thị bản dịch tự động của trang trên kết quả tìm kiếm. |
|
|
Noimageindex |
<meta name="robots" content="noimageindex" /> |
Không cho Google lập chỉ mục các hình ảnh được nhúng trong trang. |
|
|
Unavailable_after |
<meta name="robots" content="unavailable_after: Monday, 02-Sep-20 13:31:13 GMT" /> |
Yêu cầu Google dừng hiển thị trang trên kết quả tìm kiếm sau một mốc thời gian xác định. |
Sử dụng trong trường hợp bạn muốn ngừng hiển thị một trang trên kết quả tìm kiếm sau một mốc thời gian xác định. Lưu ý, thời gian cần được khai báo đúng theo định dạng chuẩn mà Google yêu cầu, ví dụ: Monday, 02-Sep-20 13:31:13 GMT. |
|
Nosnippet |
<meta name="robots" content="nosnippet" /> |
Không cho Google hiển thị đoạn trích (văn bản, hình ảnh, video, …) của trang trên kết quả tìm kiếm. |
Trong trường hợp bạn muốn cho phép Google hiển thị đầy đủ đoạn trích, hình ảnh và video trên kết quả tìm kiếm, hãy thêm đoạn mã HTML dưới đây vào website của bạn: <meta name="robots" content="max-snippet:-1, max-image-preview:large, max-video-preview:-1" /> |
|
Max-snippet |
<meta name="robots" content="max-snippet:X" /> |
Thiết lập giới hạn số ký tự tối đa mà Google được phép hiển thị trong đoạn trích văn bản. Trong đó, giá trị 0 đồng nghĩa với việc không hiển thị đoạn trích, còn -1 cho phép hiển thị không giới hạn nội dung xem trước. |
Thay X bằng số lượng ký tự tối đa mà bạn muốn Google hiển thị trong đoạn trích trên kết quả tìm kiếm. |
|
Max-image-preview |
<meta name="robots" content="max-image-preview:X" /> |
Thiết lập kích thước hình ảnh được phép hiển thị trên kết quả tìm kiếm. |
Thay X bằng giá trị hiển thị hình ảnh mà bạn muốn Google áp dụng: - none: Không hiển thị bản xem trước hình ảnh - standard: Hiển thị bản xem trước hình ảnh ở kích thước mặc định |
|
Max-video-preview |
<meta name="robots" content="max-video-preview:X" /> |
Thiết lập thời lượng tối đa của video preview |
Thay X bằng số giây xem trước video mà bạn mong muốn. Giá trị 0 tương ứng với việc không hiển thị bản xem trước, trong khi -1 cho phép hiển thị không giới hạn. |
Lưu ý: Bạn có thể kết hợp nhiều chỉ thị trong cùng một thẻ Meta Robots bằng cách phân tách các giá trị bằng dấu phẩy.
Ví dụ:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
Thẻ trên giới hạn đoạn trích văn bản hiển thị tối đa 20 ký tự và cho phép Google hiển thị hình ảnh xem trước ở kích thước lớn nhất.
<meta name="robots" content="noindex, nofollow">
Thẻ này yêu cầu công cụ tìm kiếm không lập chỉ mục trang và đồng thời ngăn bot thu thập toàn bộ liên kết trên trang.
Lệnh Meta Robots nofollow
Trong SEO, việc xử lý backlink luôn được SEOer đặc biệt quan tâm vì ảnh hưởng trực tiếp đến thứ hạng website. Tuy nhiên, nếu áp dụng lệnh Meta Robots nofollow không đúng cách, website có thể bị suy giảm hiệu quả SEO. Do đó, cần xác định rõ những trường hợp nên và không nên sử dụng nofollow để tránh gây tác động tiêu cực đến hồ sơ liên kết.
Đối với liên kết nội bộ (Internal links), đây là các đường dẫn nằm trong hệ thống website và dẫn đến những nội dung đã được kiểm soát về chất lượng. Vì vậy, bạn không nên gắn thẻ Meta Robots nofollow cho Internal links vì đây là điều không cần thiết và không được khuyến khích, bởi nó có thể làm gián đoạn dòng chảy sức mạnh liên kết trong website.
Cách kiểm tra và thay đổi thuộc tính của thẻ Meta robots
Dưới đây là những cách phổ biến và dễ thực hiện để bạn kiểm tra cũng như thay đổi thẻ Meta Robots trên website.
Cách kiểm tra thẻ Meta Robots trên website
Để xác định một trang cụ thể đang sử dụng thuộc tính thẻ Meta Robots nào và kiểm tra khả năng chỉnh sửa, bạn có thể thực hiện theo các bước sau:
- Bước 1: Truy cập trang cần kiểm tra, sau đó chọn “Xem nguồn trang” hoặc sử dụng phím tắt Ctrl + U (Windows) / Option + Command + U (Mac).
- Bước 2: Dùng tổ hợp phím Ctrl + F hoặc Command + F để mở thanh tìm kiếm trong mã nguồn.
- Bước 3: Nhập từ khóa meta name="robots" hoặc meta content để tìm thẻ Meta Robots.
Tại đây, bạn có thể xem được các thuộc tính Meta Robots mà trang đang áp dụng.
Lưu ý: Nếu không tìm thấy thẻ Meta Robots trong mã nguồn, trang đó mặc định được phép index.
Thay đổi thuộc tính Meta Robots trong HTML/CSS
Để điều chỉnh cách công cụ tìm kiếm thu thập và lập chỉ mục trang, bạn có thể thay đổi các thuộc tính của Meta Robots thông qua những phương pháp sau:
- Cách 1: Chỉnh sửa tệp robots.txt.
- Cách 2: Cập nhật trực tiếp thẻ Meta Robots trong mã HTML của trang.
Sử dụng plugin Yoast SEO (áp dụng cho website WordPress)
Đối với các website xây dựng trên nền tảng WordPress, bạn có thể thiết lập thẻ Meta Robots nhanh chóng thông qua plugin Yoast SEO với các bước sau:
Bước 1: Truy cập trang hoặc bài viết cần cấu hình với quyền quản trị viên.
Bước 2: Cuộn xuống khu vực Cài đặt nâng cao của Yoast SEO. Tại đây, bạn có thể bật hoặc tắt các tùy chọn noindex và nofollow theo nhu cầu.
Ngoài ra, trong tab Robots Meta nâng cao, Yoast SEO còn cho phép bạn thiết lập thêm các thuộc tính Meta Robots khác nhằm kiểm soát chi tiết hơn quá trình lập chỉ mục và thu thập dữ liệu.
Sử dụng plugin Rank Math
Với các website WordPress đang sử dụng plugin Rank Math, bạn có thể thiết lập thẻ Meta Robots trực tiếp trong bài viết hoặc trang theo các bước sau:
Bước 1: Mở trang hoặc bài viết cần chỉnh sửa.
Bước 2: Chuyển sang tab Advanced trong phần cài đặt của Rank Math.
Bước 3: Lựa chọn các thuộc tính Meta Robots phù hợp với mục tiêu SEO của trang.
So sánh thẻ Meta Robots với thẻ X‑Robots-Tag?
Tương tự Meta Robots, X-Robots-Tag cho phép kiểm soát quá trình lập chỉ mục, đồng thời mang lại sự linh hoạt cao hơn khi có thể áp dụng cho từng loại tệp cụ thể thay vì chỉ giới hạn ở trang HTML.
Ví dụ về cách sử dụng X-Robots-Tag
Trong trường hợp bạn muốn ngăn công cụ tìm kiếm lập chỉ mục các tệp được tạo bằng PHP, có thể khai báo X-Robots-Tag trong file header.php như sau:
header("X-Robots-Tag: noindex", true);
Thiết lập này chỉ chặn việc lập chỉ mục, các liên kết trên trang vẫn có thể được bot theo dõi. Nếu bạn muốn đồng thời ngăn cả việc thu thập liên kết, hãy sử dụng cấu hình sau:
header("X-Robots-Tag: noindex, nofollow", true);
Mặc dù việc thiết lập X-Robots-Tag thông qua PHP mang lại một số lợi ích nhất định, nhưng trong nhiều trường hợp, bạn sẽ cần chặn hoàn toàn việc lập chỉ mục theo từng loại tệp cụ thể. Khi đó, giải pháp hiệu quả và thực tế hơn là cấu hình X-Robots-Tag trực tiếp trên máy chủ Apache hoặc trong tệp .htaccess.
Ví dụ, nếu website của bạn có các tệp .doc và bạn không muốn công cụ tìm kiếm lập chỉ mục loại tệp này, hãy thêm đoạn cấu hình sau vào file .htaccess:
<FilesMatch ".doc$">
Header set X-Robots-Tag "noindex, noarchive, nosnippet"
</FilesMatch>
Trong trường hợp bạn muốn áp dụng X-Robots-Tag cho nhiều loại tệp cùng lúc như .doc và .pdf, có thể cấu hình trực tiếp trên máy chủ để kiểm soát việc lập chỉ mục hiệu quả hơn.
Với máy chủ Apache, thêm đoạn sau vào file .htaccess:
<FilesMatch ".(doc|pdf)$">
Header set X-Robots-Tag "noindex, noarchive, nosnippet"
</FilesMatch>
Nếu website sử dụng Nginx, bạn có thể thiết lập tương đương trong cấu hình máy chủ như sau:
location ~* \.(doc|pdf)$ {
add_header X-Robots-Tag "noindex, noarchive, nosnippet";
}
Ngoài ra, trong một số trường hợp, file robots.txt vẫn có thể xuất hiện trên kết quả tìm kiếm. Để ngăn điều này, bạn có thể áp dụng X-Robots-Tag riêng cho tệp này.
Apache:
<FilesMatch "robots.txt">
Header set X-Robots-Tag "noindex"
</FilesMatch>
Nginx:
location = robots.txt {
add_header X-Robots-Tag "noindex";
}
Khi nào nên sử dụng thẻ X Robots thay thế cho Meta Robots
Trong những trường hợp không thể can thiệp trực tiếp vào mã HTML để thiết lập thẻ Meta Robots, X-Robots-Tag là giải pháp phù hợp và linh hoạt hơn. Thẻ này cho phép kiểm soát quá trình lập chỉ mục ở cấp máy chủ, áp dụng cho nhiều loại nội dung khác nhau.
Các trường hợp nên sử dụng X-Robots-Tag gồm:
- Khi cần noindex toàn bộ domain, thư mục hoặc danh mục con.
- Khi không thể chèn hoặc chỉnh sửa thẻ Meta Robots trong HTML.
- Khi kiểm soát các tệp không phải HTML như PDF, hình ảnh hoặc các tài nguyên tĩnh khác.
Qua nội dung mà HostingViet mang đến ở trên, bạn đã nắm được thẻ Meta Robots là gì cũng như cách thiết lập thẻ Meta Robots một cách chi tiết và đúng chuẩn SEO. Trong quá trình áp dụng, nếu còn bất kỳ thắc mắc nào, bạn có thể để lại bình luận bên dưới để cùng trao đổi và giải đáp. Cảm ơn bạn đã theo dõi bài viết và đừng quên chia sẻ nếu thấy nội dung hữu ích.
-
Báo xấuPhản hồi{comment_date}{comment_content}
