AIクローラー

AIクローラーにはどんな種類がありますか？

AIクローラーは、役割によって大きく3つに分かれます。AIモデルの学習用データを集めるクローラー、AI検索の回答に使うページをあらかじめ集めておく検索用クローラー、そしてお客様が質問したその瞬間にページを読みに来るユーザーリクエスト型のアクセスです。

同じ会社でも名前ごとに役割が違うため、「AIクローラーをブロックする」と言うときは、何をブロックするのかを正確に選ぶ必要があります。学習用をブロックしても、検索用が開いていれば、AI検索の回答には引き続き表示されることがあります。

ユーザーリクエスト型のアクセスはお客様自身が指示したものなので、robots.txtが適用されない場合があると、OpenAIとPerplexityは説明しています。一方Anthropicは、Claude-Userもrobots.txtで制御できると案内しています。会社ごとにポリシーが異なり、変わることもあるので、ときどき公式ドキュメントを確認するのがおすすめです。

Google-ExtendedをブロックするとGoogle検索から外れますか？

いいえ。Googleは、Google-ExtendedはGoogle検索での表示や順位に影響しないと説明しています。Google-Extendedは別途訪問するロボットではなく、Googleが集めた内容をGeminiモデルの学習やグラウンディング（回答を作るときに検索内容を根拠として添えること）に使ってよいかを、robots.txtに書いて示すための指定です。

Google検索の「AIによる概要」とAIモードは、通常の検索と同じ条件に従います。通常の検索でインデックス登録され、スニペット付きで表示できるページである必要があるため、検索クローラーであるGooglebotをブロックすると、通常の検索とAI機能の両方から外れるおそれがあり、特に注意が必要です。

まとめると、Googlebotは開いたままにして、Geminiの学習に使われたくなければGoogle-Extendedだけをブロックする、という分け方ができます。こうしてもGoogle検索での表示はそのままだと、Googleが説明しています。

robots.txtでAIクローラーを設定するには？

robots.txtは、ホームページのいちばん上の階層（〇〇.kr/robots.txt）に置く「出入りの案内ファイル」です。クローラーの名前（User-agent）と、許可・ブロックするパス（Allow・Disallow）を組み合わせて書きます。

robots.txtは「守ってください」というお願いであって、鍵ではありません。公式クローラーは従うと公表していますが、名前を偽るプログラムや一部のユーザーリクエスト型のアクセスは従わないことがあります。本当に公開してはいけない情報は、ログインの後ろに置くのが正解です。

1. 01〇〇.kr/robots.txtをブラウザで開き、今何が書かれているかを確認します。
2. 02「User-agent: *」の下に「Disallow: /」のような、サイト全体をブロックする行が残っていないかを見ます。公開前のテスト設定がそのまま残っていることがあります。
3. 03学習用（GPTBot・ClaudeBot・Google-Extended）と検索用（OAI-SearchBot・Claude-SearchBot・PerplexityBot）を、それぞれ開くかブロックするかを決めます。
4. 04ブロックするクローラーだけ名前を書いて「Disallow: /」を置き、それ以外は何も書かないか「Allow: /」で開いておきます。
5. 05管理画面・決済完了画面のように、検索に必要ないパスだけを選んでブロックします。
6. 06サブドメイン（例：shop.〇〇.kr）がある場合は、そのアドレスにも別途robots.txtを置きます。
7. 07修正後、Search Consoleの「robots.txt レポート」とSearch Advisorのrobots.txt検証で、もう一度確認します。

学習用はブロックして、検索用だけ開いてもいいですか？

はい、そのように分けて決められます。OpenAIは、GPTBotをブロックした場合はそのサイトのコンテンツを基盤モデルの学習に使わないでほしいという意思表示とみなし、OAI-SearchBotをブロックしたサイトはChatGPT検索の回答に表示しないと案内しています。

Anthropicも、ClaudeBotをブロックするとそれ以降のコンテンツを学習データから除外し、Claude-SearchBotをブロックすると検索回答用のインデックスから外れると説明しています。お店のホームページはお客様に知ってもらうことが目的なので、検索用は開いておき、学習用はオーナー様の判断で決めれば大丈夫です。

自分で書いたコラム・レシピ・教材のように、コンテンツそのものが商品であれば、学習用をブロックするのも十分に合理的な選択です。逆に、営業時間・場所・価格のように広く知られるべき情報がほとんどなら、ブロックして得られるものは大きくありません。

AIクローラーをうっかりブロックしてしまうのはどんなとき？

robots.txtに手を加えていなくても、ブロックされていることがあります。ホスティングやCDN（世界中にホームページのコピーを分散して置くサービス）のセキュリティ機能には、AIクローラーを一括でブロックする設定があり、これがオンになっていると、robots.txtとは関係なくクローラーが入れません。

制作会社に「robots.txtでどのクローラーを開いて、どれをブロックしましたか？」「ホスティング・セキュリティ設定でAIボットのブロックがオンになっていますか？」の2つを聞けば、ほとんどは確認できます。アクセスが多すぎて負担になる場合は、ClaudeBotのように訪問間隔（Crawl-delay）の設定に対応していると公表しているクローラーもあります。

• 公開前にオンにした「検索ブロック」設定を、公開後もオフにしていない場合
• セキュリティサービスの「AIボットのブロック」機能が、初期設定でオンになっている場合
• アクセスが多いからとIPアドレスごとブロックした場合：AnthropicはIPブロックは正しく機能しないことがあるとして、robots.txtを推奨しています
• JavaScriptを実行しないと内容が表示されない作りのため、一部のクローラーが空の画面しか読めない場合