robots.txt

robots.txtはどんなファイル？中身はどう書く？

robots.txtは、「どのロボットに（User-agent）」「どこには入らないで（Disallow）」「どこには入ってよい（Allow）」を1行ずつ書いたテキストファイルです。2022年9月に国際的なインターネット標準化団体（IETF）が、RFC 9309として標準文書を公開しました。

ファイル名は必ずrobots.txt、置き場所はサイトのいちばん上のフォルダ、形式はUTF-8のテキストファイルでなければなりません。ルールはそのファイルがあるドメイン・プロトコル・ポートにだけ適用されるため、「shop.〇〇.kr」のようなサブドメインには別のファイルが必要です。

行の名前（User-agent、Disallow）は大文字・小文字を区別しませんが、パスは区別します。「/Admin」と「/admin」は別のパスとして扱われます。

• User-agent: * → すべてのロボットに適用します。
• Disallow: /admin/ → /admin/以下は読まないでください。
• Allow: / → それ以外はすべて読んでかまいません。
• Sitemap: https://〇〇.kr/sitemap.xml → サイトマップはここにあります。

robots.txtとnoindexの違いは？

robots.txtは「読みに来ないでください」、noindexは「読んでもいいけれど検索結果には入れないでください」という意味です。Googleは、robots.txtはページをGoogle検索から外すための手段ではないとはっきり案内しています。

robots.txtでブロックしたページでも、ほかの場所にリンクがあれば、説明なしでアドレスだけが検索結果に出ることがあります。検索から確実に外したいならnoindexを使い、そのページはrobots.txtでブロックしないでおくことで、ロボットがnoindexを読めるようになります。

実際には次のように使い分ければ大丈夫です。お客様に見せる必要のない案内ページはnoindex、ロボットが延々と迷い込みかねない検索・絞り込みのアドレスはrobots.txt、個人情報があるところはログインで制限します。

robots.txtの作り方と確認方法は？

ほとんどのホームページ制作ツールやフレームワークは、robots.txtを自動で作ってくれます。オーナー様は公開前に一度開いてみて、次の順番で確認すれば大丈夫です。

Naver Search Advisorには、robots.txtを簡単に作ってダウンロードできる機能と、直したファイルをすぐに収集リクエストし、特定のページがブロックされるかをテストする機能があります。Googleは、新しいファイルを別途送信しなくても自動で読みに来ます。

robots.txtを直したあとGoogleに早く知らせたい場合は、Search Consoleの「robots.txt」レポートから再クロールをリクエストできます。そうしないと、保存されている古いファイルがしばらく使われることがあります。

1. 01シークレットウィンドウで「〇〇.kr/robots.txt」を開き、ファイルが文字で表示されるか確認します。
2. 02「User-agent: *」の下に「Disallow: /」の1行だけがないか確認します。もしあれば、サイト全体がブロックされている状態です。
3. 03管理画面のように、ロボットが読む必要のないパスだけがDisallowに書かれているかを見ます。
4. 04いちばん下のSitemapの行に、サイトマップの完全なアドレスがあるか確認します。
5. 05Google Search Consoleの「設定」メニューにある「robots.txt」レポートで、エラーがないか確認します。
6. 06Naver Search Advisorのウェブマスターツールの検証メニューでrobots.txtを収集リクエストし、主要なページが「収集可能」と表示されるかテストします。

robots.txtがない、またはエラーが出るとどうなる？

ファイルがなければ、検索ロボットはすべてのページを読んでよいと判断します。ネイバーもGoogleも、robots.txtが404のような「存在しない」という応答を返すと、制限はないものと解釈します。

逆に、サーバーエラー（5xx）は危険です。ネイバーはこれを「すべて許可しない」と解釈し、Googleは最初の12時間はサイトのクロールを止め、その後は最大30日間、最後に読んだルールを使います。サーバーが不安定だと、検索ロボットがホームページをまったく読めなくなることがあります。

ほかにも知っておくと役立つ基準があります。Googleはrobots.txtを通常最大24時間保存して使うため、直した内容がすぐには反映されないことがあり、500KiBを超える部分は無視します。ネイバーは、robots.txtがHTML文書として返ってくると、中のルールを無視して「存在しない」とみなすことがあると案内しています。

AIクローラーはrobots.txtでどう扱えばいい？

AIクローラーも、名前（User-agent）ごとに許可・ブロックを書くことができます。たとえばOpenAIは学習用のGPTBotとChatGPT検索用のOAI-SearchBotを分けて使っており、GoogleはGoogle-Extendedという名前で、Geminiの学習と回答の根拠としての利用を許可するかどうかを別に決められるようにしています。

Google検索のAIによる概要とAIモードは、一般の検索ロボットであるGooglebotの設定に従います。Googleは、Google-Extendedが検索に含まれるかどうかや順位には影響しないと明らかにしています。逆にGooglebotをブロックすると、通常の検索とAI機能の両方から外れることがあります。

お店のホームページなら、お客様がAIに質問したときに正確な情報が出るほうが得になる場合がほとんどです。学習用と検索用を分けて考え、少なくともAI検索用のクローラーは許可しておく方向から検討してみてください。ただしrobots.txtはあくまでお願いなので、すべてのクローラーが守る保証はありません。

robots.txtでよくある失敗は？

隠したいパスをrobots.txtに書いておくと、そのファイルを開いた誰にでもパスを教えていることになります。国際標準の文書も、robots.txtのルールはアクセス権限の仕組みではなく、セキュリティ対策の代わりにはならないと記しています。

デザインのファイル（CSS）やスクリプト（JS）のパスをブロックするのも、よくある失敗です。検索ロボットはこれらのファイルまで読んで初めて画面を正しく理解できるため、ネイバーもこうしたリソースはページと同じルールにするか、許可するよう案内しています。

公開直前には、robots.txtとnoindexをセットで確認しましょう。制作中のブロックを解除するのは開発者にとっては1行の修正ですが、見落とすと数週間にわたって検索から消えてしまうことがあります。

• 制作中に入れた「Disallow: /」を公開後も残しておく
• noindexを付けたページをrobots.txtでもブロックして、noindexが読まれないようにしてしまう
• CSS・JS・ファビコンのパスをブロックする
• robots.txtをサイトのいちばん上ではなく、下の階層のフォルダに置く
• パスの大文字・小文字を実際のアドレスと違えて書く