Công cụ

Trình tạo robots.txt miễn phí - Thiết lập quy tắc SEO

Tạo robots.txt cho website chỉ trong vài bước

Tính năng chính
  • Trình biên tập trực quan cho Allow / Disallow.
  • Thêm sitemap và crawl-delay dễ dàng.
  • Xem trước, sao chép và tải xuống tức thời.

Cách sử dụng
  • Nhập từng dòng đường dẫn muốn chặn hoặc cho phép.
  • Thiết lập thêm crawl-delay và URL sitemap nếu cần.
  • Nhấn “Generate” để tạo robots.txt rồi sao chép hoặc tải về.

Lưu ý quan trọng

Giữ quy tắc đơn giản, tránh chặn nội dung quan trọng.

Dùng Disallow cho các thư mục quản trị hoặc hệ thống, không lộ dữ liệu nhạy cảm.

robots.txt phải nằm tại https://your-domain.com/robots.txt.

Chọn cho phép toàn bộ bot hoặc chặn hoàn toàn. Các quy tắc chi tiết được xác định bởi danh sách Allow/Disallow phía dưới.
Disallow dùng để chỉ ra những đường dẫn không cho phép thu thập. Để trống nghĩa là cho phép tất cả.
Allow giúp mở quyền cho những đường dẫn có thể bị chặn bởi Disallow tổng quát.
Đặt chính sách riêng cho từng bot: Default = theo quy tắc chung, Disallow = chặn hoàn toàn, Allow = cho phép hoàn toàn.
Bot User-agent Chính sách
Google Web Googlebot
Google Image Googlebot-Image
Google News Googlebot-News
Bing Web Bingbot
Bing Preview BingPreview
Baidu Baiduspider
Yandex YandexBot
DuckDuckGo DuckDuckBot
Sogou Sogou web spider
360 Search 360Spider
Không phải công cụ tìm kiếm nào cũng hỗ trợ, nhưng có thể giảm tải cho máy chủ.
Thêm URL sitemap đầy đủ để bot tìm thấy nội dung nhanh hơn.