免费 robots.txt 生成器 - 快速配置爬虫策略

几步生成适合站点的 robots.txt

功能亮点

• 可视化编辑 Allow / Disallow 规则。
• 一键添加 Sitemap 与 Crawl-delay 指令。
• 即时预览、复制或下载生成结果。

使用方式

• 逐行输入需要禁止或允许的路径。
• 可选设置抓取延时与 sitemap 地址。
• 点击“生成”即可复制或下载 robots.txt。

最佳实践

规则保持简洁，避免屏蔽重要内容。

Disallow 主要用于后台或系统目录，不要暴露敏感信息。

确保 robots.txt 放在 https://your-domain.com/robots.txt。