Chia sẻ Cách điều hướng spider hiệu quả

Diễn Đàn SEO - vnseo.edu.vn -

Mọi người hay nói đến cách tối ưu onpage như thế nào để chuẩn seo, về tittle rồi discirption, … nhưng những người mới vào nghề có thể ít chú ý đến file robots. Theo mình thấy đây là file khá quan trọng tương tự như sitemap vậy. File robots sẽ giúp cho bạn điều hướng spider (bots google) hiệu quả nhất. File robots.txt là file đầu tiên mà Spider đọc khi truy cập vào website. Robots.txt là một file dạng txt có chứa các câu lệnh để định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm. Nó cho phép chặn spider khi truy cập vào website của bạn tránh nó quét đến những gì không cần index. Ví dụ như một website bán hàng thường có các mục như giỏ hàng, hướng dẫn thanh toán, … những phần này chắc hẳn sẽ không ai cần SEO làm gì đúng không. Vậy thì không cần để google đọc nó làm gì, vì khi spider truy cập vào website của bạn nó chỉ ở lại ở một thời gian nhất định mà thôi, hãy để nó quét những gì cần quét.

Vậy tạo file robots cho website như thế nào?

Việc này thì cần nhờ đến coder của bạn nhé. Cú pháp file robots.txt

User-agent: *

Disallow:/Thư-mục/-cấm vào đường dẫn

Disallow:/Thư-mục1/- Cấm vào đường dẫn

- Dùng để xác định quyền truy cập của Spider khi nó truy cập vào website

- Để sửa file này cần truy cập được vào thư mục gốc của website trên sever, sau đấy sửa file.

 

bài viết rất bổ ích.tks bạn

 

Nếu thấy bổ ích, xin cho một like ạ, xin chân thành cảm ơn

 

Cảm ơn bạn rất hiệu quá nhé

 

Điều mình chưa biết.
Để mình lam theo xem sao.
Cứ là chú trọng vào bài viết cho website không

 

Dùng từ cho chuyên nghiệp chút thôi bạn

 

Khi cấm robot truy cập vào url nào trong robot.txt thì trong google webmater tool sẽ có thông báo là chặn url đó phải không các bạn?