Cách tạo và sử dụng file Robots.txt

Diễn Đàn SEO - vnseo.edu.vn -

Robots.txt là gì? Nó là file dạng văn bản, nó giúp cho các bots hiểu được nên theo hay không theo, kiểu như nofollow và dofollow trong liên kế. Cách tạo và sử dụng file Robots.txt thế nào?, bài viết này sẽ giúp bạn điều đó.

​

Sử dụng file robots.txt​

Mã:

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

“User-agent”:* có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.
“Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những filé của WordPress bắt đầu bằng wp-.

Nếu bạn không sử dụng WordPress, bạn chỉ việc thay thế dòng Disallow với files và folders mà bạn không muốn nó “dòm ngó”, ví dụ:

Mã:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

Mình có tìm được một trang tạo file robots.txt rất hay, mọi người có thể tham khảo tại đây: Robots.txt Generator