File robot rất quan trọng trong các diễn đàn giúp định hướng các con bọ của google theo hướng của mình
Robot rất có lợi nếu biết điều hướng nhưng mình vẫn chưa thực sự hiểu chỗ nào nên cho vào và chỗ nào không nên cho BOT vào ngoài thư mục admin ra.
Web của mình dạo trước mình có chỉnh lại thì nó bị cái lỗi mà trước đó không bị, đó là trước kia thì bot vào sẽ quét hết link nội bộ bài viết, nghĩa là bài viết nếu mình đặt 3 link sẽ được nhận cả 3, nhưng gần đây bot quét không hết nên nội dung mình đặt 3 link lại chỉ được nhận 1 link trong đó, là lỗi gì vậy ạ