無料 robots.txt ジェネレーター - SEO 向けクローラー制御

数ステップでサイト用 robots.txt を生成

主な特徴

• Allow / Disallow を可視的に編集。
• Sitemap URL や Crawl-delay を簡単追加。
• 生成結果を即時プレビュー・コピー・ダウンロード。

使い方

• 禁止したい、または許可したいパスを 1 行ずつ入力。
• 必要に応じて crawl-delay と sitemap を設定。
• 「生成」をクリックして結果をコピーまたはダウンロード。

ベストプラクティス

ルールはシンプルにし、大事なページを誤って遮断しない。

Disallow は管理画面などのシステムパス向けに使う。

robots.txt は https://your-domain.com/robots.txt に配置。