Diễn Đàn SEO - vnseo.edu.vn - Ở phần 6 chúng ta đã tối ưu Onpage Sitemap, bây giờ chúng ta sẽ cấu hình robots.txt cho diễn đàn VBB. Mã: User-agent: * sitemap: http://www.example.com/sitemap.xml Disallow: /forums/archive/ Disallow: /forums/admincp/ Disallow: /forums/attachments/ Disallow: /forums/calendar.php Disallow: /forums/clientscript/ Disallow: /forums/cpstyles/ Disallow: /forums/customavatars/ Disallow: /forums/customprofilepics/ Disallow: /forums/faq.php Disallow: /forums/images/ Disallow: /forums/install/ Disallow: /forums/includes/ Disallow: /forums/login.php Disallow: /forums/misc.php Disallow: /forums/member.php Disallow: /forums/modcp/ Disallow: /forums/memberlist.php Disallow: /forums/newreply.php Disallow: /forums/newthread.php Disallow: /forums/private.php Disallow: /forums/register.php Disallow: /forums/sendmessage.php Disallow: /forums/signaturepics/ Disallow: /forums/sendpm.php Disallow: /forums/search.php File robots.txt rất quan trọng trong việc điều hướng bots index trong website. Nhằm tối ưu và đạt hiệu quả, index nhanh bài viết. Bạn lưu và tải lên host theo đường dãn domain.com/robots.txt.
ad ơi. như site thì có file robot này. như mình làm blog thì có cái này không? nhiều khi chưa muốn pub site mà không biết làm như thế nào
bác ơi để ý ở phần cài đặt blog có đấy bác ơi. cái này đơn giản hơn site nhiều. bác cứ lên GG sớt file robot blogspot là có mà
nếu rotbots mà vào nhiều phần quá thì nó mệt nó ko về báo cho google biết về website của bạn được. rất có hại
Robot rất có lợi nếu biết điều hướng nhưng mình vẫn chưa thực sự hiểu chỗ nào nên cho vào và chỗ nào không nên cho BOT vào ngoài thư mục admin ra.