Diễn Đàn SEO - vnseo.edu.vn - File Robots.txt là gì File Robots.txt là một dạng thư mục gốc nằm trong một website. File này được các webmaster tạo ra nhằm quản lý quyền truy cập của các con bọ tìm kiếm. Cụ thể: Nó giúp các webmaster linh hoạt hơn trong việc cho phép bot lập chỉ mục hoặc không cho phép lập chỉ mục ở một khu vực nào đó trong website. Robots.txt là gì Robots.txt là một dạng text đặc biệt, không phải là HTML hay là một loại nào khác. Robots.txtgiúp cho webmaster linh hoạt hơn trong việc quản lý index của công cụ tìm kiếm. Nó hướng dẫn cho con bọ của công cụ tìm kiếm được phép index hay không được phép index. Trong một website có rất nhiều mục không cần phải cho con bọ tìm kiếm index tới như admin, image,… Vì vậy bạn phải chặn bọ tìm kiếm, không cho phép index những link không quan trọng, để bọ tìm kiếm có thời gian index cho các link quan trọng khác. Tham khảo thêm: thuctapseo.org/anchor-text-la-gi-cach-toi-uu-hoa-neo-van-ban-trong-seo/ thuctapseo.org/google-penguin-cach-khac-phuc-thuat-toan-google-penguin/ thuctapseo.org/domain-authority-do-uy-tin-cua-ten-mien/ Tầm quan trọng của tệp Robots.txt Nếu không có file Robots.txt thì bọ tìm kiếm sẽ vào tất các trang có sẵn trên trang website của bạn. Nó sẽ thu thập tất cả dữ liệu để thêm vào chỉ mục index của công cụ tìm kiếm. Như vậy bọ tìm kiếm sẽ tốn thời gian vào những trang không cần thiết, bỏ qua những trang rất quan trọng mà bạn muốn SEO. Nếu như file Robots.txt không được định dạng tốt vì nó bị dính cấu hình sai. Thì con bọ của các công củ tìm kiếm không thể hiểu được nội dung của file. Con bọ có thể truy cập vào tất cả các trang trên Website của bạn như trường hợp không có file robots.txt. Nếu bạn vô tình chặn các công cụ tìm kiếm truy cập vào trang website của bạn thì đó là một vấn đề nguy hại lớn cho website của bạn. Đối với website mới xây dựng thì công cụ tìm kiếm sẽ không thể thu thập thông tin để lập chỉ mục index. Đối với những site đã có index thì công cụ tìm kiếm sẽ dần xóa hết bất kỳ trang nào trong chỉ mục đã được index vì con bọ tìm khiếm không thể thu thập thông tin được nữa. Bạn nên có Robots.txt ngay cả khi trang web của bạn không muốn loại bỏ bất kỳ trang hay thư mục nào khỏi sự xuất hiện trong kết quả công cụ tìm kiếm. Các tệp lệnh trong File Robots.txt File Robots.txt được nằm trong thư mục gốc của website. Bạn muốn kiểm tra website của bạn có Robots.txt hay chưa thì bạn chỉ cần thêm Robots.txt sau tên miền của bạn. Nếu như bạn truy cập vào được thì website bạn đã có Robots.txt. Một số lệnh trong File Robots.txt User-agent : tên loại của bọ tìm kiếm Allow : cho phép Disallow : không cho phép Sitemap : đường dẫn sơ đồ của trang web Ghi chú: dấu * thay cho mỗi chuỗi, có nghĩa là áp dụng với tất cả. Mỗi công cụ thu thập dữ liệu đều có tên như googlebot, bingbot, cocobot…. Nếu bạn muốn chặn một loại bot củ thể thì ta phải khai báo tên công cụ của loại bot đó. Robots.txt áp dụng tốt trong SEO thuctapseo.org/file-robost-txt-va-tac-dung-file-robost-txt-trong-seo/
