3つの段階
ここが壊れていると、どれだけ良い文章でも、検索にも AI の要約にも出ません。
- クロール：ボットがリンクやサイトマップをたどって、HTML を取りに来る
- インデックス：取った内容を目録に入れる。入っていないページは出ない
- 掲載（ランキング）：どの順で、どの見た目で出すかを決める
Google の AI Overviews と AI モードも、この同じインデックスからページを取ります。別の申し込みはありません。
ボット（クローラー）
| 名前 | 何のためか | 塞ぐと |
|---|---|---|
| Googlebot | Google 検索（AI Overviews・AI モードを含む） | 検索から消える |
| Google-Extended | Gemini のモデルの学習と、Gemini アプリなどでの回答の根拠（grounding） | Google 検索の掲載には影響しない。クロール自体は Googlebot が行い、これは使い方を指定する印 |
| OAI-SearchBot | ChatGPT の検索 | ChatGPT の検索の回答に出なくなる（案内のリンクだけ出ることはある） |
| GPTBot | OpenAI のモデルの学習 | 学習に使われない。検索の掲載とは別 |
| ChatGPT-User | 利用者の操作でその場に開く | 利用者の操作なので robots.txt が当てはまらないことがある。検索の掲載の判断には使われない |
| PerplexityBot | Perplexity の検索 | 検索に出なくなる。学習用ではない |
| Perplexity-User | 利用者の質問に応じたその場の取得 | 一般に robots.txt を無視する |
| ClaudeBot | Anthropic のモデルの学習 | 学習に使われない |
| Claude-SearchBot | Claude の検索の品質 | 検索の結果に出にくくなる |
学習用と、検索・引用用は別のレバーです。「AI を全部ブロック」は、学習を断るつもりで検索の引用まで消す失敗になりやすい。
robots.txt
サイトの一番上の階層に置くテキストです（https://example.com/robots.txt）。
User-agent: *
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap.xml
意味：どのボットも、管理画面以外は見てよい。サイトマップはここ。
- Disallow は「クロールしないで」。守るかどうかはボットによる
- 検索に出したくないページは、多くの場合 noindex を使う。noindex を読むにはクロールが要るので、Disallow と一緒にしない
- サイト全体を
Disallow: /にすると、検索も AI の要約も材料を失う
サイトマップ
公開してよいURLの一覧です。載せても掲載の保証はありません。人がブラウザで開けるか、ボットにも正常（200）で返るかを見ます。
スニペットと、生成AIの設定
Google が AI Overviews・AI モードに出る条件として書いているのは、インデックス済みで、スニペット（説明文）付きで検索に出せる状態であること、つまり通常の検索の技術要件です。AI 専用の技術要件はありません。noindex や nosnippet があると、要約の材料にもなりません。
これに加えて、Search Console に「検索の生成 AI 設定」があります（2026年8月31日に全サイトへ提供）。初期値は「含める」です。誰かが「除外する」にすると、AI Overviews・AI モード・Discover の生成AI機能に出なくなります。通常の検索の順位には影響しません。AI の学習を断る設定ではありません（学習は Google-Extended）。
大事な文は文字で書く
- 結論・数字・条件・問い合わせ先は、本文の文字として書く
- 図は補助。図の中だけに答えを置かない
- 見出しは画像ではなく文字にする
この章で使う道具 用語集：インデックス 用語集：noindex 辞典：Search Console