AIクローラーを止めるべきか｜Google-Extendedで止まるもの、止まらないもの

アーム代表の伊藤です。
Google-Extendedをrobots.txtでブロックしても、Google検索のAIによる概要やAIモードでの利用は止まりません（Google公式ドキュメント、2026年9月17日確認）。止まるのはGeminiアプリとVertex AIでの学習とグラウンディングだけです。

「タダで使われるのが気持ち悪い」という直感と、「止めて何を失うか分からない」という不安は、別の問題です。運営元8つの公式仕様と文化庁の資料をもとに、この2つを切り分けて整理します。

最初の一覧表で「止めると何を失うか」を確かめ、3つの問いで止めるべきかを決められる構成にしています。

AIクローラーを止めるべきかは、「失うものを言えるか」で決まる

• 8社公式ドキュメントを2026年8月12日確認
• Perplexity遮断は学習を1件も減らさない
• AI概要はGoogle-Extendedの対象外

AIクローラーを止めるべきかの判断は、機能の有無ではなく「学習されて失うものを説明できるか」で決まります。説明できないなら、止めない。これが基本線です。

AIクローラーの一覧は多くの記事にありますが、判断に要るのは「止めると何を失うか」の列です。運営元8つの公式ドキュメントを、この軸だけで並べ直しました。すべて2026年8月12日に各社の公式ドキュメントで確認した内容です。

「タダで使われるのが嫌だ」という感覚も、判断の材料になる

ここまでは主に、事業でサイトを運営している方に向けた話です。ただ、公開されている相談を見ると、無料のホームページ作成サービスで個人のサイトを持っている方から「生成AIの学習の対象になるのを拒否する設定はあるか」という質問も出ています。事業の損得というより、自分が書いたものが対価なく誰かの答えの材料にされる感覚への抵抗です。

この感覚を否定する必要はありません。ただしrobots.txtで止められる範囲は、事業でも個人でも同じです。次の一覧表と3つの問いは、そのまま個人のサイトにも当てはめて読んでください。

自社に来ているクローラーの正体、まず一覧で確認

止めたら何が消え、何が残るのかの対応表

後半7種の対応も、同じ基準でまとめます。

• Googlebot：事実上の退場
• Google-Extended：検索とAIによる概要はそのまま
• GPTBot：ChatGPT検索の露出は別トークンなので残る
• OAI-SearchBot：ナビゲーショナルリンクは残りうる
• ChatGPT-User：robots.txtが適用されないことがある
• PerplexityBot：学習はもともとしていない
• Perplexity-User：robots.txtを一般に無視すると公式が明記
• CCBot：過去に収集済みのアーカイブが消えるとは公式に書かれていない
• Applebot-Extended：検索結果には引き続き掲載されうる（そもそもクロールしないトークン）
• Meta-ExternalAgent：robots.txt反映は最大24時間
• Bing（NOCACHE / NOARCHIVEメタタグ）：どちらのタグでも通常のBing検索には表示され続ける

同じ遮断でも、失うものの中身は違う

この表から、判断を左右する事実を3つだけ抜き出します。

• PerplexityBotのブロックは、学習を1件も減らさない純粋な機会損失
• OAI-SearchBotのブロックはChatGPT検索の露出を消す。学習は止まらない
• Google-Extendedのブロックは、Google検索のAIによる概要には及ばない

AIクローラーは3種類ある。まとめて止めてはいけない理由

• 分類は学習用・検索回答用・ユーザー起点の3つ
• Applebotは巡回せず検索結果は残る
• Perplexityは学習に不使用と公式明言

AIクローラーと一括りに呼ばれるものは、役割で3種類に分かれます。

同じ会社のクローラーでもトークンごとに役割が違うため、「OpenAIをブロック」「Googleを許可」のような会社単位の判断をすると、止めたいものが止まらず、失いたくないものだけを失います。

なお、LLMOやAIOといった用語の整理は別記事にまとめているので、本記事では繰り返しません。

AIクローラーを止めるべきかを決める、3つの問い

• 問いは失うもの・ライセンス・流入数の3つ
• 生成AIパフォーマンスレポートは2026年6月開始
• 流入×問い合わせ率×粗利で手放す額を試算

ここまでで、何が止まって何が止まらないかは出揃いました。残るのは「では止めるべきか」です。AI学習の遮断は、コストゼロの防御策ではありません。止めた瞬間に失うのはAI検索経由の露出と指名想起で、それは半年後の商談の入口です。

判断すべきは「守るか否か」ではなく、そのコンテンツは学習の養分にされる損より、推薦されない損のほうが大きいか。次の3つの問いで決められます。

この3つの問いに答えて、役員会に出す一枚（止める・通すの判断表）まで作りたい場合は、現状の数字から一緒に作ります。役員会に出す判断材料づくりから相談する

robots.txtの書き方は、止めると決めたトークンを並べるだけ

• 設定は2行、User-agentとDisallow
• Metaは反映に最大24時間と案内
• 確認はルート直下のrobots.txtを開く

止めるものを決めたあとのrobots.txtの書き方は、2行で終わります。

User-agent: GPTBot
Disallow: /

止めたいAIクローラーが複数あるなら、このセットをトークンごとに繰り返します。一部だけを対象にする場合は、Disallowの値を「/archive/」のようにパスで指定します。

許可を明示したいときは、Allowを使う

逆に「このディレクトリだけは通す」と書きたいときはAllowを使いますが、何も書かなければ通るのが既定の挙動なので、Allowを並べる必要は本来ありません。書くとすれば、意思を明示して自分と後任が読み返せるようにするためです。

置き場所はサイトのルート直下です。書き換えたら、ブラウザで「https://自社ドメイン/robots.txt」を開き、公開されている内容が意図どおりかを確認してください。Metaのように、robots.txtの変更の反映へ最大24時間かかると案内している運営元もあります。

通すと決めたら、次にやることがある

通す判断をした場合の次の一歩は、制作の工程でAI検索向けの作り込みをすることです。詳しくはこちらに整理しています。

この記事の一覧表を自社サイトに当てはめて、どれを止めてどれを通すかを決めかねている場合は、現状の流入データから一緒に見ます。まだ何も設定していない状態からで構いません。AIクローラーを止めるべきか、現状の流入から相談する

AIクローラーを遮断するとき、陥りやすい4つの失敗

• エックスサーバーは1月に21種遮断機能追加
• anthropic-aiは現行の公式名にない
• 非公開化はID・パスワード認証が必要

AIクローラーの遮断は、設定自体は数分で終わります。だからこそ、判断を挟まずに実行してしまう失敗が起きやすい領域です。実際に起きやすい4つを挙げます。

アームはAIクローラーを、ほとんど許可している理由

• アームは主要クローラーを個別に許可
• 自社にも古い名前anthropic-aiが残存
• 引用を止めても推薦は増えない

最後に、アームがこのテーマをどう扱っているかを開示します。判断の参考というより、判断の実例として読んでください。

遮断は守りではなく、選択的な機会放棄として設計する

アームの自社サイト（aaam.jp）のrobots.txtは、GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、CCBotを、1つずつ名前を書いて明示的に許可しています。

止めているのは全クローラー共通の/api/だけです（2026年8月12日時点の現物）。理由は、この記事の問い1に自分で答えた結果です。アームのコラムやサービス紹介は、学習されて具体的に失うものを説明できません。

一方でAI検索経由の接点は、これから増やしたい側の数字です。だから通しています。

自社のrobots.txtにも、消し忘れが残っていた

ついでに、格好のつかない話も書いておきます。アームのrobots.txtには、いまもanthropic-aiとClaude-Webという2行が残っています。

この記事の「よくある失敗」で「現行にない名前を書くな」と指摘した、まさにその名前です。Allowなので実害は出ていませんが、書いた当時の一覧をそのまま置き続けた結果であることに変わりはありません。

robots.txtは、各社の公式ドキュメントが更新されるたびに読み直す対象だという、自分への戒めとして残しておきます。

同じ判断が、どのお客様にも当てはまるとは限らない

同じ判断がどのお客様にも当てはまるとは限りません。大事なのは、遮断を「守り」と呼ばず、「AI検索経由の機会を選択的に放棄する行為」として損得を見積もることです。自社の現状の流入がどうなっているかから見立てたい場合は、AI検索時代の流入診断で現状把握からやっています。AI検索経由の成果をどう測るかは、こちらの実測記事でも扱っています。

守るべきは独自データであって、サイト全体ではない

守る価値の設計は、サイト単位ではなくコンテンツ単位でやります。有償販売しうる独自データや会員限定資料があるなら、その領域だけを認証で守り、必要ならrobots.txtの措置とライセンス設計を重ねる。

集客のために書いたコンテンツは通す。文化庁の資料が示した「技術的措置＋販売の予定」という枠組みも、データベースという単位で語られています。全か無かの二択にしないことが、機会損失を最小にします。

引用を止めても、推薦は増えない

SEOの専門家である住太陽氏は「AI引用とAI推薦の違い」（ボーディー有限会社、2026年7月21日更新）で、AIに引用されることは回答生成の養分にすぎず、ビジネス上のメリットはほとんどない、と整理しています。

この整理を遮断の文脈に当てはめると、話は逆向きに転がります。養分にされたくないなら止めればよい。ただし止めても推薦は増えません。AIが自社を推薦する材料は第三者のクチコミやレビューであって、そもそも自社サイトの外にあるからです。

推薦の材料は、そもそもサイトの外にある

つまりAIクローラーの遮断は、攻めにも守りにもならない中立の行為です。引用が消えるだけで、推薦の獲得競争には何の影響もありません。判断の重心は、推薦される材料を外の世界にどれだけ作れているか、に置くべきだと考えています。AIが自社をどう見ているかを実際に確かめた記録は、こちらです。

よくある質問

AIクローラーを止めるべきかは、失うものと露出の見積もりで決まる

Google-Extendedが止めるのはGeminiアプリとVertex AIでの学習とグラウンディングだけで、Google検索のAIによる概要とAIモードには及びません。

そしてAIクローラーを止めるべきかの判断は、「学習されて失うものを説明できるか」「止めて失う露出をいくらと見積もるか」で決まります。

では、何から確かめればいいのか

まずは自社サーバーの設定画面とrobots.txtの現状、AI検索経由の流入の実数を確認するところから始めてみてください。

アームは、AI検索を含めた流入の設計を、現状の数字の把握から一緒にやるデザインスタジオです。どのAIクローラーを止め、どれを通すかの判断からで構いません。よければお問い合わせフォームからご相談ください。

アームの取り組みはAI検索に選ばれるサイトでも紹介しています。