AIクローラーを止めるべきか｜Google-Extendedで止まるもの、止まらないもの

アーム代表の伊藤です。
Google-Extendedをrobots.txtでブロックしても、Google検索のAIによる概要やAIモードでの利用は止まりません（Google公式ドキュメント、2026年8月12日確認）。止まるのはGeminiアプリとVertex AIでの学習とグラウンディングだけです。運営元8つの公式仕様と文化庁の資料をもとに、AIクローラーを止めるべきかの判断基準までを整理します。

こんな方におすすめのコラムです

• 「役員に『うちの技術資料がAIに勝手に学習されているんじゃないか』と聞かれて、答えられなかった」という方
• 「サーバーの管理画面にAIクローラー遮断のトグルがある。押していいのか分からない」という方
• 「Google-Extendedを止めれば、AIによる概要からも消えると思っていた」という方
• 「robots.txtにAI学習禁止と書けば、法的に守られるのかをはっきりさせたい」という方
• 「止めた結果、ようやく増え始めた問い合わせが減るのが怖い」という方

Google-Extendedを止めると、実際には何が止まるのか

Google-Extendedとは、自社サイトのコンテンツをGoogleのAI学習から外すための、独立した製品トークンです。robots.txtに数行書くだけで設定できます（※robots.txt…サイトのルート直下に置く、クローラーへのアクセス可否を伝えるテキストファイル）。ただし、このスイッチで止まる範囲は多くの人の期待より狭いので、先に「止まるもの」と「止まらないもの」を分けます。

止まるもの：Geminiアプリの学習と、GeminiアプリおよびVertex AIのグラウンディング

Googleの公式ドキュメント「Google's common crawlers」（2026年7月14日更新）によると、Google-Extendedが管理するのは次の2つです。

• 将来のGeminiモデルの学習に、自社サイトのコンテンツを使わせるかどうか
• GeminiアプリとVertex AIでのグラウンディングに使わせるかどうか（※グラウンディング…回答の正確さを上げるため、回答生成の瞬間にGoogle検索インデックスの内容をAIへ渡す仕組み）

つまりGoogle-Extendedのブロックが効く範囲は、GeminiアプリとVertex AIというGoogleの「AI製品」側に限られます。同じドキュメントには「Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.」（Google-ExtendedはGoogle検索への掲載に影響せず、ランキングシグナルとしても使われない）と明記されています。安心材料であると同時に、次の見出しの伏線でもあります。

止まらないもの：Google検索のAIによる概要とAIモード

Google検索の検索結果に出るAIによる概要（AI Overviews）とAIモードは、Google-Extendedの管轄外です。解説記事のなかには「Google-ExtendedをブロックすればAIによる概要から消える」と書いているものがありますが、公式仕様はそうなっていません。

Googleの公式ドキュメント「AI features and your website」（2025年12月10日更新）は、AIは検索に組み込まれた機能の一部であり、その制御はGooglebot向けのrobots.txtディレクティブで行う、と説明しています。そして同じページで、Google-Extendedは「Googleのその他のシステムでの学習とグラウンディングを制限する」ための道具だと位置づけています。検索内のAI機能はGooglebotの管轄、Gemini製品はGoogle-Extendedの管轄、という縦割りです。

家の分電盤にたとえると、Appleの分電盤には部屋ごとのブレーカーが並んでいるのに、Googleの分電盤には「検索内のAI機能」という部屋のブレーカーがありません。あるのは家全体の主幹ブレーカー（Googlebot）と、離れの小屋のブレーカー（Google-Extended）だけです。

AIによる概要だけを外す方法は、公式仕様に存在しない

それではAIによる概要だけを外したい場合はどうするのか。Googleが公式に挙げる手段は、nosnippet、data-nosnippet、max-snippet、noindexの4つだけです（前掲「AI features and your website」）。

問題は、この4つがいずれもAI専用のスイッチではないことです。nosnippet系を使えば通常の検索結果のスニペット（説明文）も同時に消え、noindexを使えば検索結果そのものから消えます。AIによる概要だけをピンポイントで外して、通常の検索の見え方は維持する、という手段は2026年8月時点の公式仕様に存在しません。ここが、AIクローラーの制御を考えるときの最初の分岐点になります。

AIクローラーは3種類ある。まとめて止めてはいけない理由

AIクローラーと一括りに呼ばれるものは、役割で3種類に分かれます。同じ会社のクローラーでもトークンごとに役割が違うため、「OpenAIをブロック」「Googleを許可」のような会社単位の判断をすると、止めたいものが止まらず、失いたくないものだけを失います。なお、LLMOやAIOといった用語の整理は「LLMO対策のやり方｜Googleが不要と明言した施策を外すと、やることは6つ」にまとめているので、本記事では繰り返しません。

学習用クローラー：GPTBot、ClaudeBot、Google-Extendedなど

AIの基盤モデルの学習素材を集めるクローラーです。GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google）、CCBot（Common Crawl）、Applebot-Extended（Apple）、Meta-ExternalAgent（Meta）が該当します。ブロックすれば、今後の学習への利用をオプトアウトする意思表示になります。

検索・回答用クローラー：OAI-SearchBot、PerplexityBotなど

AI検索の回答に自社サイトを表示するためのクローラーです。OAI-SearchBot（ChatGPT検索）、PerplexityBot（Perplexity）、Claude-SearchBot（Anthropic）が該当します。OpenAIの公式ドキュメントには、OAI-SearchBotをオプトアウトしたサイトはChatGPT検索の回答に表示されなくなる（ただしナビゲーショナルリンクとしては表示されうる）と明記されています。ブロックの対価は、学習の停止ではなくAI検索からの露出です。

ユーザー起点の取得：ChatGPT-User、Perplexity-Userなど

ユーザーがAIに質問した瞬間に、AIが代わりにページを見に行くタイプです。ChatGPT-User、Perplexity-User、Claude-Userが該当します。自動巡回ではなくユーザーの指示による取得なので、robots.txtのルールが適用されないことがある、と各社が公式に述べています。Perplexityの公式ドキュメントは、Perplexity-Userについて「ユーザーが取得を要求したため、robots.txtのルールを一般に無視する」とまで明記しています。robots.txtという道具の限界が、公式仕様の側に書いてある領域です。

PerplexityBotを止めても、学習は1件も減らない

一括遮断の危うさを1行で証明する事実があります。Perplexityの公式ドキュメント「Perplexity Bots」は、PerplexityBotについて「It is not used to crawl content for AI foundation models.」（AI基盤モデルのためのコンテンツ収集には使われない）と明記しています。

つまりPerplexityBotをブロックしても、学習に使われる量は1件も減りません。減るのは、Perplexityの回答に自社サイトへのリンクが表示される機会だけです。学習対策のつもりでブロックすると、防犯のつもりで店の看板を下ろすことになります。泥棒には効かず、お客様にだけ効きます。

【一覧表】AIクローラーのどれを止めると、何を失うか

AIクローラーの一覧は多くの記事にありますが、判断に要るのは「止めると何を失うか」の列です。運営元8つの公式ドキュメントを、この軸だけで並べ直しました。すべて2026年8月12日に各社の公式ドキュメントで確認した内容です（出典は記事末尾の一覧にまとめています）。

この表から、判断に効く事実を3つだけ抜き出します。

• PerplexityBotのブロックは、学習を1件も減らさない純粋な機会損失
• OAI-SearchBotのブロックは、学習ではなくChatGPT検索の露出を消す
• Google-Extendedのブロックは、Google検索のAIによる概要には効かない

なお、Applebot-Extendedを「検索用クローラー」として分類している解説記事がありますが、Apple公式の定義は「Apple基盤モデルの学習からのオプトアウト用トークン」です。Applebot-Extended自体はWebページをクロールせず、ブロックしても検索結果には掲載され続けます。Appleは「学習」「AI回答の材料」「検索インデックス」を別々のスイッチとして分けている、いちばん設計の綺麗なプラットフォームです。

robots.txtの書き方は、止めると決めたトークンを並べるだけ

止めるものを決めたあとのrobots.txtの書き方は、3行で終わります。

User-agent: GPTBot
Disallow: /

止めたいAIクローラーが複数あるなら、このセットをトークンごとに繰り返します。サイト全体ではなく一部だけを対象にする場合は、Disallowの値を「/archive/」のようにパスで指定します。逆に「このディレクトリだけは通す」と書きたいときはAllowを使いますが、何も書かなければ通るのが既定の挙動なので、Allowを並べる必要は本来ありません。書くとすれば、意思を明示して自分と後任が読み返せるようにするためです。

置き場所はサイトのルート直下です。書き換えたら、ブラウザで「https://自社ドメイン/robots.txt」を開き、公開されている内容が意図どおりかを確認してください。Metaのように、robots.txtの変更の反映へ最大24時間かかると案内している運営元もあります。

通す判断をした場合の次の一歩は、制作の工程でAI検索向けの作り込みをすることです。詳しくは「AI検索対策とは？ホームページ制作の設計段階でやるべきこと、やらなくていいこと」に整理しています。

この一覧表を自社サイトに当てはめて、どれを止めてどれを通すかを決めかねている場合は、現状の流入データから一緒に見ます。まだ何も設定していない状態からで構いません。AIクローラーを止めるべきか、現状の流入から相談する

robots.txtに「AI学習禁止」と書けば、法的に守られるのか

検索してこの記事にたどり着いた方の多くが、本当に知りたいのはここだと思います。「AI学習禁止と書いても無駄ではないか」という疑問です。日本には、この問いに正面から答えている公的資料があります。文化審議会著作権分科会法制度小委員会「AIと著作権に関する考え方について」（令和6年3月15日）です。

先に立場を明示します。私たちは弁護士ではありません。以下は文化庁の審議会がまとめた「考え方」という文書の記載を引用したもので、法律そのものではなく、個別の案件がどう判断されるかは法律の専門家に確認してください。アームが言えるのは、robots.txtが何を止めて何を止めないかという技術的な事実と、この資料に何が書かれているかまでです。

「学習禁止」の意思表示だけでは、著作権法30条の4ただし書に該当しない

著作権法第30条の4は、情報解析（AI学習を含む）のための著作物利用を原則として認める規定で、「著作権者の利益を不当に害することとなる場合は、この限りでない」というただし書が付いています（条文はe-Gov法令検索の著作権法で確認できます。2026年8月時点）。では「学習禁止」と書くことは、このただし書に該当するのか。文化庁の「考え方」は次のように述べています。

著作権者が反対の意思を示していることそれ自体をもって、権利制限規定の対象から除外されると解釈することは困難である。そのため、こうした意思表示があることのみをもって、法第30条の４ただし書に該当するとは考えられない。

意思表示だけでは、法的な効力は生じないという整理です。「AI学習禁止」というテキストをサイトに書いても、利用規約に書いても、それだけでは30条の4の適用を外せない、というのが2024年3月時点の公的な整理です。

ただし、技術的な措置を講じること自体は自由にできる

同じ資料は、robots.txtのような技術的措置を講じること自体は自由だと明言しています。

AI学習のための著作物の複製等を防止するための、機械可読な方法による技術的な措置としては、現時点において既に広く行われているものが見受けられる。こうした措置をとることについては、著作権法上、特段の制限は設けられておらず、権利者やウェブサイトの管理者の判断によって自由に行うことが可能である。

そして具体例の筆頭に「ウェブサイト内のファイル"robots.txt"への記述によって、AI学習のための複製を行うクローラによるウェブサイト内へのアクセスを制限する措置」が挙がっています。robots.txtでのブロックは、法的効力の有無とは別に、国の資料が例示する標準的な技術的措置だということです。

データベースとして販売する予定がある場合は、話が変わる

ここからが、この資料でいちばん実務に効く部分です。技術的措置に「データベースの著作物として販売される予定」が組み合わさると、ただし書に該当しうると整理されています。

AI学習のための著作物の複製等を防止する技術的な措置が講じられており、かつ、このような措置が講じられていることや、過去の実績（情報解析に活用できる形で整理したデータベースの著作物の作成実績や、そのライセンス取引に関する実績等）といった事実から、当該ウェブサイト内のデータを含み、情報解析に活用できる形で整理したデータベースの著作物が将来販売される予定があることが推認される場合には、この措置を回避して、クローラにより当該ウェブサイト内に掲載されている多数のデータを収集することにより、AI学習のために当該データベースの著作物の複製等をする行為は、当該データベースの著作物の将来における潜在的販路を阻害する行為として、当該データベースの著作物との関係で、本ただし書に該当し、法第30条の４による権利制限の対象とはならないことが考えられる

資料の脚注30には、実例としてThe New York Times、Financial Times、The Guardian、Axel Springerが挙がっています。いずれもrobots.txtでAI学習用クローラーをブロックしたうえで、テキスト・データマイニング用のライセンスやAPIを別途提供している事例です。

同じ枠組みは、部分的なブロックにも及びます。脚注31は、あらゆるAI学習用クローラーをブロックしていなくても「主要なAI学習用クローラが複数ブロックされているといった場合であれば」将来販売される予定を推認させる一要素になる、と述べています。全部止めなければ意味がない、という話ではありません。

逆向きの記述もあります。脚注28は、robots.txtでクローラーのアクセスが制限されていない場合、それは「（大量の情報を容易に情報解析に活用できる形で整理したデータベースの著作物が）販売されている場合」に該当しないことを推認させる要素になると述べています。ただし同じ脚注には、この事情は複製を行う者の過失を否定する要素にとどまるという別の意見も併記されています。ブロックするかどうかは法的な文脈でも中立な行為ではない、という程度に受け取るのが正確です。

国も「AI学習用クローラーだけを全て止める技術はない」と認めている

同資料の脚注31には、技術的な限界の自認があります。

現状ではrobots.txtにおいて、あらゆる種類のクローラをブロックする措置は取り得ても、AI学習用クローラに限ってこれらを全てブロックするという措置は取ることができないという技術的限界がある

robots.txtは、クローラーが名乗りを上げて従うことを前提にした紳士協定です。名乗らないクローラー、従わないクローラーには効きません。この限界は国の審議会資料にも書かれている公知の事実であり、「robots.txtに書けば完全に守られる」と説明する記事があれば、その説明のほうが公的な整理から外れています。

AIクローラーを止めるべきかを決める、3つの問い

ここまでで、何が止まって何が止まらないかは出揃いました。残るのは「では止めるべきか」です。AI学習の遮断は、コストゼロの防御策ではありません。止めた瞬間に失うのはAI検索経由の露出と指名想起で、それは半年後の商談の入口です。判断すべきは「守るか否か」ではなく、そのコンテンツは学習の養分にされる損より、推薦されない損のほうが大きいか。次の3つの問いで決められます。

問い1：学習されることで、具体的に何を失うか説明できるか

最初の問いがいちばん重要です。「なんとなく気持ち悪い」ではなく、学習されると事業のどの数字が毀損されるのかを言葉にできるか。ほとんどの事業会社のサイトは、サービス紹介と事例と問い合わせフォームでできています。この構成のコンテンツは、学習されて失うものを言語化しにくい一方、AIの回答に載らなくなる機会損失は問い合わせ件数という実数で表れます。説明できないなら、止めない。これが基本線です。

問い2：そのコンテンツを、別途ライセンス販売する道があるか

有償で販売しうる独自データベース、独自調査、会員限定資料を持っている場合だけ、話が変わります。前章の文化庁の整理のとおり、技術的措置とデータベース販売（の予定）が組み合わさると、robots.txtのブロックに法的な意味が生じうるからです。該当するなら、その部分だけを対象に技術的措置を講じ、あわせて法律の専門家に相談する価値があります。サイト全体を一括で遮断する理由には、この場合でもなりません。

問い3：AI検索経由の流入は、いま何件あるか

止める・通すの判断は、感情ではなく自社の実数でやります。見る場所は2つです。Googleの「生成AIパフォーマンスレポート（検索）」（2026年6月3日提供開始）と、GA4の参照元に出るAIサービスのドメイン。前者はAIによる概要とAIモードでの表示回数を見られますが、指標は表示回数のみで、クリック数や掲載順位は取得できません。公式ヘルプにも一部のサイト所有者を対象とした段階的な提供だと明記されており、すべてのプロパティで見られるわけではありません（2026年8月12日確認）。数字が小さいから無視してよい、ではなく、小さいうちに方針を決めておくのが安上がりです。アームの自社サイトでの流入の実測は「TOFU・MOFU・BOFUとは？認知どまりの流入を検討・獲得まで流す導線設計」で公開しています。

そして、その数字を止める判断の値札に変換します。掛け算は単純です。AI検索経由で来ている月あたりのセッション数に、サイト全体の問い合わせ率と、問い合わせ1件あたりの粗利を掛ける。これが、遮断を選んだときに毎月手放す金額の見積もりになります。精度の高い数字にはなりませんが、役員会の議題としては「AIに学習されるのが気持ち悪い」よりはるかに扱いやすい形です。そして学習される側の損は、多くの事業会社でこの式の右辺に置ける数字が1つも出てきません。出てこないという事実そのものが、答えになります。

この3つの問いに答えて、役員会に出す一枚（止める・通すの判断表）まで作りたい場合は、現状の数字から一緒に作ります。役員会に出す判断材料づくりから相談する

AIクローラー遮断でよくある失敗

AIクローラーの遮断は、設定自体は数分で終わります。だからこそ、判断を挟まずに実行してしまう失敗が起きやすい領域です。実際に起きやすい4つを挙げます。

レンタルサーバーの一括遮断トグルを、意味を確認せずONにする

エックスサーバーは2026年1月7日に、全プランへ「AIクローラー遮断設定」を追加しました（エックスサーバー公式マニュアル、2026年8月12日確認）。ドメインごとのトグルで、GPTBot、Google-Extended、ClaudeBotに加えて、OAI-SearchBotやPerplexityBotといった検索・回答用のクローラーまで、21種類をまとめて遮断できます（対象は随時追加される可能性があると公式マニュアルに記載）。初期状態はOFFです。

機能そのものは正当です。問題は、このトグルが「学習用」と「検索・回答用」を区別せずにまとめて遮断することの意味を、押す側が知らないまま押せる点にあります。ONにした瞬間、ChatGPT検索とPerplexityの回答から自社サイトへのリンクが消えていきます。学習を止めたかっただけの会社が、AI検索の露出まで同時に手放す設計です。押す前に、前章の3つの問いに答えてからにしてください。

古い記事の一覧をコピーして、現行にないUser-agentで設定する

AIクローラーの名前は数年で入れ替わっています。たとえばanthropic-aiやClaude-Webという名前を載せている解説記事がありますが、Anthropicの現行の公式ヘルプに記載されているのはClaudeBot、Claude-User、Claude-SearchBotの3つで、この2つの記載はありません（2026年8月12日確認）。古い一覧をコピーしたrobots.txtは、存在しない相手に指示を出し、現行のクローラーを素通りさせます。設定するときは記事ではなく、各社の公式ドキュメントの現行の一覧から名前を取ってください。

robots.txtで止めればページが非公開になると思っている

robots.txtはアクセス制御であって、非公開化の仕組みではありません。Googleの公式ドキュメント「Introduction to robots.txt」（2025年12月10日更新）も、robots.txtについて「it is not a mechanism for keeping a web page out of Google」（Googleからウェブページを締め出すための仕組みではない）と明記しています。見られては困る情報は、robots.txtではなくID・パスワード認証で守ります。文化庁の資料でも、認証によるアクセス制限はrobots.txtと並ぶ技術的措置の例として挙げられています。

llms.txtを置けば学習を防げると思っている

llms.txtはAIへの案内ファイルであって、アクセスを制限する仕組みではありません。学習のオプトアウトとは役割がまったく別です。llms.txtの実測データと位置づけは「llms.txtとは?97%が読まれない実測データと、それでも書く場合の5分の書き方」に譲ります。

アームのAI学習オプトアウトへの考え方

最後に、アームがこのテーマをどう扱っているかを開示します。判断の参考というより、判断の実例として読んでください。

遮断は守りではなく、選択的な機会放棄として設計する

アームの自社サイト（aaam.jp）のrobots.txtは、GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、CCBotを、1つずつ名前を書いて明示的に許可しています。止めているのは全クローラー共通の/api/だけです（2026年8月12日時点の現物）。理由は、この記事の問い1に自分で答えた結果です。アームのコラムやサービス紹介は、学習されて具体的に失うものを説明できません。一方でAI検索経由の接点は、これから増やしたい側の数字です。だから通しています。

ついでに、格好のつかない話も書いておきます。アームのrobots.txtには、いまもanthropic-aiとClaude-Webという2行が残っています。ひとつ前の章で「現行にない名前を書くな」と指摘した、まさにその名前です。Allowなので実害は出ていませんが、書いた当時の一覧をそのまま置き続けた結果であることに変わりはありません。robots.txtは一度書いて終わりのファイルではなく、各社の公式ドキュメントが更新されるたびに読み直す対象だという、自分への戒めとして残しておきます。

同じ判断がどのお客様にも当てはまるとは限りません。大事なのは、遮断を「守り」と呼ばず、「AI検索経由の機会を選択的に放棄する行為」として損得を見積もることです。自社の現状の流入がどうなっているかから見立てたい場合は、AI検索時代の流入診断で現状把握からやっています。

守るべきは独自データであって、サイト全体ではない

守る価値の設計は、サイト単位ではなくコンテンツ単位でやります。有償販売しうる独自データや会員限定資料があるなら、その領域だけを認証で守り、必要ならrobots.txtの措置とライセンス設計を重ねる。集客のために書いたコンテンツは通す。文化庁の資料が示した「技術的措置＋販売の予定」という枠組みも、サイト全体ではなくデータベースという単位で語られています。全か無かの二択にしないことが、機会損失を最小にします。

引用を止めても、推薦は増えない

SEOの専門家である住太陽氏は「AI引用とAI推薦の違い」（ボーディー有限会社、2026年7月21日更新）で、AIに引用されることは回答生成の養分にすぎず、ビジネス上のメリットはほとんどない、と整理しています。この整理を遮断の文脈に当てはめると、逆向きの結論が出ます。養分にされたくないなら止めればよい。ただし止めても推薦は増えません。AIが自社を推薦する材料は第三者のクチコミやレビューであって、そもそも自社サイトの外にあるからです。

つまりAIクローラーの遮断は、攻めにも守りにもならない中立の行為です。引用が消えるだけで、推薦の獲得競争には何の影響もありません。判断の重心は「止めるかどうか」ではなく、推薦される材料を外の世界にどれだけ作れているか、に置くべきだと考えています。

よくある質問

まとめ：AIクローラーを止めるかどうかは、失うものを言えるかで決まる

AIクローラーの制御について、この記事で確認した事実を並べ直します。Google-Extendedが止めるのはGeminiアプリとVertex AIでの学習とグラウンディングだけで、Google検索のAIによる概要とAIモードには効きません。AIによる概要だけを外す手段は公式仕様に存在しません。PerplexityBotのブロックは学習を1件も減らさず、AIクローラーの一括遮断は検索・回答用のクローラーまで巻き込みます。そしてrobots.txtの「AI学習禁止」は、意思表示だけでは著作権法30条の4ただし書に該当しないというのが文化庁の整理です。

だから、AIクローラーを止めるべきかの判断は、機能の有無ではなく「学習されて失うものを説明できるか」「止めて失う露出をいくらと見積もるか」で決まります。まずは自社サーバーの設定画面とrobots.txtの現状、そしてAI検索経由の流入の実数を確認するところから始めてみてください。

アームは、AI検索を含めた流入の設計を、現状の数字の把握から一緒にやるデザインスタジオです。どのAIクローラーを止め、どれを通すかの判断からで構いません。よければお問い合わせフォームからご相談ください。アームの取り組みは「AI検索時代に「見つけてもらえる」Webサイトを設計する」でも紹介しています。