File Robots.txt và tác dụng File Robots.txt trong SEO

Thảo luận trong 'Thảo luận SEO' bắt đầu bởi nhungvan, 14 Tháng một 2019.

  1. nhungvan

    nhungvan New Member

    File Robots.txt là gì
    File Robots.txt là một dạng thư mục gốc nằm trong một website. File này được các webmaster tạo ra nhằm quản lý quyền truy cập của các con bọ tìm kiếm. Cụ thể: Nó giúp các webmaster linh hoạt hơn trong việc cho phép bot lập chỉ mục hoặc không cho phép lập chỉ mục ở một khu vực nào đó trong website.

    Robots.txt là gì
    Robots.txt là một dạng text đặc biệt, không phải là HTML hay là một loại nào khác. Robots.txt giúp cho webmaster linh hoạt hơn trong việc quản lý index của công cụ tìm kiếm. Nó hướng dẫn cho con bọ của công cụ tìm kiếm được phép index hay không được phép index. Trong một website có rất nhiều mục không cần phải cho con bọ tìm kiếm index tới như admin, image,… Vì vậy bạn phải chặn bọ tìm kiếm, không cho phép index những link không quan trọng, để bọ tìm kiếm có thời gian index cho các link quan trọng khác.

    [​IMG]

    Tham khảo thêm:

    thuctapseo.org/anchor-text-la-gi-cach-toi-uu-hoa-neo-van-ban-trong-seo/
    thuctapseo.org/google-penguin-cach-khac-phuc-thuat-toan-google-penguin/
    thuctapseo.org/domain-authority-do-uy-tin-cua-ten-mien/

    Tầm quan trọng của tệp Robots.txt
    Nếu không có file Robots.txt thì bọ tìm kiếm sẽ vào tất các trang có sẵn trên trang website của bạn. Nó sẽ thu thập tất cả dữ liệu để thêm vào chỉ mục index của công cụ tìm kiếm. Như vậy bọ tìm kiếm sẽ tốn thời gian vào những trang không cần thiết, bỏ qua những trang rất quan trọng mà bạn muốn SEO.

    Nếu như file Robots.txt không được định dạng tốt vì nó bị dính cấu hình sai. Thì con bọ của các công củ tìm kiếm không thể hiểu được nội dung của file. Con bọ có thể truy cập vào tất cả các trang trên Website của bạn như trường hợp không có file robots.txt.

    Nếu bạn vô tình chặn các công cụ tìm kiếm truy cập vào trang website của bạn thì đó là một vấn đề nguy hại lớn cho website của bạn. Đối với website mới xây dựng thì công cụ tìm kiếm sẽ không thể thu thập thông tin để lập chỉ mục index. Đối với những site đã có index thì công cụ tìm kiếm sẽ dần xóa hết bất kỳ trang nào trong chỉ mục đã được index vì con bọ tìm khiếm không thể thu thập thông tin được nữa.

    Bạn nên có Robots.txt ngay cả khi trang web của bạn không muốn loại bỏ bất kỳ trang hay thư mục nào khỏi sự xuất hiện trong kết quả công cụ tìm kiếm.

    Các tệp lệnh trong File Robots.txt
    File Robots.txt được nằm trong thư mục gốc của website. Bạn muốn kiểm tra website của bạn có Robots.txt hay chưa thì bạn chỉ cần thêm Robots.txt sau tên miền của bạn. Nếu như bạn truy cập vào được thì website bạn đã có Robots.txt.

    [​IMG]

    Một số lệnh trong File Robots.txt

    • User-agent : tên loại của bọ tìm kiếm
    • Allow : cho phép
    • Disallow : không cho phép
    • Sitemap : đường dẫn sơ đồ của trang web
    Ghi chú: dấu * thay cho mỗi chuỗi, có nghĩa là áp dụng với tất cả. Mỗi công cụ thu thập dữ liệu đều có tên như googlebot, bingbot, cocobot…. Nếu bạn muốn chặn một loại bot củ thể thì ta phải khai báo tên công cụ của loại bot đó.

    Robots.txt áp dụng tốt trong SEO

    thuctapseo.org/file-robost-txt-va-tac-dung-file-robost-txt-trong-seo/
     
  2. qynhkt

    qynhkt New Member

    Sử dụng cái file này chặn những trang không muốn index rất hiệu quả
     
  3. hoanghung_vmp

    hoanghung_vmp Member

    thật sự website nào cũng cần một con robot này bởi vì đã có 1 website của đơn vị bán xe bị hack thẳng vào trong file dữ liệu
     
  4. kisty2612

    kisty2612 Member

    hâu như web nào cũng cần để cho google biết google được index những gì và còn chặn các công cụ phân tích khác.
     
  5. lesmile

    lesmile New Member

    Việc sử dụng file Robotx đúng giúp cho google index được nhanh hơn và ngăn các index không mong muốn
     
  6. juliuswatch

    juliuswatch New Member

    Nhưng dùng cũng cẩn thận không khéo nó chặn hết bộ trang.
     
  7. cherry1811

    cherry1811 New Member

    Em được mấy anh sư phụ đi trước nói cái file này là để cho bọ vào web của mình còn hướng nó đi thì mình cần đến sitemap
     
  8. quynhhnhu

    quynhhnhu New Member

    rất hiệu quả
     
  9. tlcorp365

    tlcorp365 New Member

    Không có cái này thì nguy hiểm phết đấy nhất là web wordpress
     

Chia sẻ trang này

Users Viewing Thread (Users: 0, Guests: 0)