AIクローラーを止めるべきか│Google-Extendedで止まるもの、止まらないもの

アーム代表の伊藤です
AIクローラーを止めるべきかは、学習されて失うものを言葉にできるかで決まります。

Google-Extendedを止めても、AIによる概要は消えません。そしてアーム自身がこの問いに答えた末に止めたのは、/api/の1行だけでした。

AIクローラーを止めるべきかを決める3つの問い

• 問いは失うもの・ライセンス・流入数の3つ
• 説明できないなら止めないのが基本線
• 流入×問い合わせ率×粗利で手放す額を試算

AI学習の遮断はコストゼロの防御策ではありません。損の大きさは止めるクローラーで変わります。学習用だけなら失うのはAIの知識に載る機会です。検索・回答用まで止めると、AI検索経由の露出と指名想起を失います。それは半年後の商談の入口です。決めるのは「守るか否か」ではなく、学習の養分にされる損と推薦されない損のどちらが大きいか。次の3つで決まります。

AIクローラーを止めると決めたとしても、その先にスイッチの罠があります。レンタルサーバーの「AIクローラー遮断」は、学習用と検索・回答用を区別せず22種類をまとめて止めます。

Google-Extendedを止めても、検索の露出は消えない

• Gemini学習とグラウンディングのみ停止
• 検索のAI概要・AIモードは対象外
• 検索順位のシグナルには使われない

Google-Extendedは、GoogleのAI学習から自社サイトを外すための独立した製品トークンです。ただしこのスイッチで止まる範囲は、多くの人の期待より狭い。

止まるのはGeminiアプリの学習とグラウンディングだけ

Googleの公式ドキュメント「Google's common crawlers」（2026年10月15日更新）によると、Google-Extendedが管理するのは、将来のGeminiモデルの学習に使わせるかと、GeminiアプリとVertex AIでのグラウンディング（※回答生成の瞬間に検索インデックスの内容をAIへ渡す仕組み）に使わせるかの2つです。

同じ文書に「Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.」（検索への掲載に影響せず、ランキングシグナルにも使われない）とあります。安心材料であると同時に次の見出しの伏線です

AIによる概要とAIモードは止めても消えない

解説記事には「Google-ExtendedをブロックすればAIによる概要から消える」と書くものがありますが、公式仕様はそうなっていません。「AI features and your website」（2025年12月10日更新）は、検索内のAI機能はGooglebot向けのrobots.txtで制御し、Google-Extendedは「Googleのその他のシステム」の学習とグラウンディングを制限する道具だと位置づけています。

家の分電盤にたとえると、「検索内のAI機能」という部屋のブレーカーは、2026年8月末にSearch Consoleへ付きました。家全体の主幹（Googlebot）と、離れの小屋（Google-Extended）は、それとは別のスイッチです。主幹を落とせば検索ごと消えます。

AIによる概要だけを外す設定は、Search Consoleにある

従来から公式に挙がる手段は2段に分かれます（前掲「AI features and your website」）。クロールはGooglebot向けのrobots.txtで管理します。表示の制限はnosnippet、data-nosnippet、max-snippet、noindexの4つです。どれもAI専用のスイッチではありません。nosnippet系は通常の検索結果の説明文も同時に消し、noindexは検索結果そのものから消します。

AIによる概要だけを外して通常の見え方を保つ手段は、2026年8月31日から、Search Consoleの「検索の生成 AI 設定」にあります。AIによる概要・AIモード・DiscoverのAI機能から自社のコンテンツを外し、通常の検索結果には残せます。ただし学習は止まりません。学習の制限はGoogle-Extendedの役目です（Search Consoleヘルプ「検索の生成 AI 設定」・2026年10月11日確認）。ここが、AIクローラーの制御を考えるときの最初の分岐点です。

分岐はGoogleだけの話ではありません。PerplexityBotを止めても学習に使われる量は1件も減らず、消えるのは回答に自社のリンクが出る機会だけです。

AIクローラーは3種類ある。まとめて止めてはいけない理由

• 分類は学習用・検索回答用・ユーザー起点の3つ
• Perplexity遮断は学習を1件も減らさない
• Applebotは巡回せず検索結果は残る

同じ会社のクローラーでも、トークンごとに役割が違います。「OpenAIをブロック」「Googleを許可」と会社単位で決めると、止めたいものが止まらず、失いたくないものだけを失います。運営元8つの公式ドキュメントを2026年8月12日に確認し、役割ごとに分けました。

3種類のどれにも入らないのがOpenAIのOAI-AdsBotで、ChatGPT広告のページ検証用です。公式のクローラー一覧に学習には使わないと明記があり、広告を出す予定がなければ判断の外に置けます。Bingだけはrobots.txtではなくNOCACHE／NOARCHIVEメタタグで制御し、どちらでも通常のBing検索には残ります。

AIクローラーを遮断するときに陥りやすい4つの失敗

• エックスサーバーは1月に22種遮断機能追加
• anthropic-aiは現行の公式名にない
• 非公開化はID・パスワード認証が必要

設定は数分で終わります。だからこそ、判断を挟まずに押してしまう失敗が起きやすい領域です。

llms.txtとは?97%が読まれない実測データと、それでも書く場合の5分の書き方SEO・AIO2026/08/07

User-agent: GPTBot
Disallow: /

法律の解釈について

アームは弁護士ではありません。この章の引用は文化庁の審議会がまとめた「考え方」という文書の記載で、法律そのものではありません。個別の案件がどう判断されるかは法律の専門家に確認してください。アームが言えるのは、robots.txtが何を止めて何を止めないかという技術的な事実と、この資料に何が書かれているかまでです。

よくある質問

AIクローラーを止めるべきかは、失うものと露出の見積もりで決まる

• 学習されて失うものを言葉にできないなら止めない
• Google-Extendedを止めてもAIによる概要とAIモードは消えない
• 学習用・検索回答用・ユーザー起点の3種を一括で止めない