Xin chào các bạn! Hôm nay mình muốn chia sẻ với các bạn về cách tối ưu SEO cho blog của mình. Ngoài việc phân bổ từ khóa trong bài viết, có một yếu tố quan trọng khác mà chúng ta cần chú ý, đó là tệp robots.txt. Tệp robots.txt giúp cho các công cụ tìm kiếm biết được trang web của bạn có thể yêu cầu thu thập dữ liệu từ những trang hoặc tệp nào. Hôm nay, mình sẽ hướng dẫn bạn cách tối ưu robots.txt chuẩn SEO cho Blogspot.
Contents
Robots.txt là gì?
Robots.txt là một tệp bao gồm các lệnh điều hướng quá trình thu thập dữ liệu của các công cụ tìm kiếm. Nó giúp cho trình thu thập dữ liệu và lập chỉ mục của các công cụ tìm kiếm biết được trang web của bạn có thể yêu cầu thu thập dữ liệu từ những trang hoặc tệp nào.
Bạn đang xem: Cách tối ưu Robots.txt chuẩn SEO cho Blogspot
Bạn sẽ thấy rõ rằng robots.txt rất hữu ích cho SEO khi bạn ngăn chặn được một số liên kết không mong muốn xuất hiện trên công cụ tìm kiếm.
Lợi ích khi sử dụng robots.txt
Xem thêm : Google Penalties
Thêm robots.txt là tùy chọn không bắt buộc, nhưng lại rất cần thiết vì:
- Chặn index các tài nguyên không cần thiết (ví dụ: video, file PDF,…)
- Chặn index trang không cần thiết.
- Chèn Sitemap.
- Tối ưu quá trình thu thập dữ liệu: Google luôn giới hạn mức thu thập dữ liệu cho một trang web trong một khoảng thời gian nhất định. Vì vậy, chúng ta cần chỉ index những trang cần thiết và loại bỏ những trang không cần thiết để tiết kiệm quá trình thu thập dữ liệu này.
Các lệnh cơ bản của robots.txt
Dưới đây là các lệnh cơ bản mà bạn có thể sử dụng trong tệp robots.txt:
- User-agent: [Bắt buộc, ít nhất một lệnh trong mỗi nhóm]: Đây là tên của trình thu thập dữ liệu của công cụ tìm kiếm. Ví dụ như Googlebot.
- Allow: Cú pháp cho phép robot thu thập dữ liệu.
- Disallow: Cú pháp không cho phép robot thu thập dữ liệu.
- Crawl-delay: Thông số này xác định thời gian (tính bằng giây) mà bot phải đợi trước khi chuyển sang phần tiếp theo (cú pháp này ít được sử dụng).
- Sitemap: Khai báo vị trí sitemap của website.
Chỉnh sửa robots.txt cho Blogspot
Để chỉnh sửa tệp robots.txt cho Blogspot, bạn có thể làm theo các bước sau:
- Vào trang quản lý blog > Cài đặt.
- Kéo xuống dưới và tìm đến “Trình thu thập thông tin và lập chỉ mục”.
- Bật robots.txt tùy chỉnh và nhấp vào nút để chỉnh sửa.
Cấu hình robots.txt chuẩn cho Blogspot
Xem thêm : Những từ khóa được tìm kiếm nhiều nhất trên Google năm 2022
Dưới đây là một cấu hình robots.txt chuẩn cho Blogspot:
User-agent: *
Allow: /
User-agent: Googlebot
Allow: /
Allow: /search/label
Disallow: /search
Allow: /search(/)?
Disallow: *archive.html$
Sitemap: https://www.fayedark.com/atom.xml?redirect=false&start-index=1&max-results=500Lưu ý: Thay www.fayedark.com thành tên miền của bạn và nếu blog của bạn có hơn 500 bài viết, hãy đổi “500” thành số lớn hơn.
Giải thích sương sương về cấu hình này
- User-agent: *: Cú pháp này cho phép mọi bot vào thu thập dữ liệu như bot của Google, Bing, và các công cụ tìm kiếm khác và áp dụng các quy tắc bên dưới.
- Allow: /: Cho phép index tất cả các tiền tố URL.
- Nếu bạn muốn Google không thu thập các trang không cần thiết mà các bot khác vẫn thu thập được, bạn có thể viết lệnh riêng cho Googlebot bằng cách thêm dòng User-agent: Googlebot.
- Allow: /search/label/: Cho phép thu thập dữ liệu của trang nhãn.
- Disallow: /search: Chặn thu thập dữ liệu trang tìm kiếm không có nội dung, nhưng vẫn cho phép thu thập trang bài viết.
- Disallow: *archive.html$: Chặn thu thập dữ liệu trang web có đuôi archive.html.
Cuối cùng, Sitemap: https… là để khai báo địa chỉ sơ đồ trang web của blog.
Lời kết
Vậy là bạn đã có thể tạo và chỉnh sửa file robots.txt để tối ưu SEO cho Blogspot rồi. Nếu có bất kỳ thắc mắc nào, hãy để lại bình luận dưới bài viết. Hi vọng bài viết sẽ giúp ích cho bạn.
Nguồn: https://diendanseotop.edu.vn
Danh mục: SEO
