サイトは人には開いていて、AIには閉じている

9月でいちばん高くついた故障は、故障に見えない。サイトは開くし、デザインも崩れていない。担当者がスマホから見ても全部表示される。なのに順位は落ち、Google Adsには"Destination not accessible"と出て、AIの回答からサイトが消えている。2026年9月7日に出た分析では、状況がそのまま書かれていた。外注先が2026年7月にCloudflareで全ボットのブロックを有効にし、そこにGooglebotが引っかかり、オーガニックと一緒に広告も止まった。以下では、誰を明示的に通し直すべきか、そしてもう一つの損失経路、つまりリンクの代わりのスクリプトが、なぜレポートにまったく現れないのかを書く。

403の波はどこから来たか

2026年7月1日、Cloudflareは"AIボットをブロックする"という単一のスイッチをやめ、ボットをSearch、Agent、Trainingの3カテゴリに分けた。この選択肢は無料プランを含む全ユーザーが使える。改善のように聞こえるし、実際に改善だ。ただし、ほとんどの人が読み飛ばした注意書きが一つある。

その注意書きとは、一部のクローラーをCloudflareが用途混在と見なしている点だ。検索でもあり学習でもある。混在に分類されたのはGooglebot、Bingbot、Applebot。学習をブロックする設定はすべて、古い"Block AI bots"オプションも含めて、これらも同時にブロックする。この警告が公開されたのは2026年8月5日だが、人々が設定をいじっていたのは6月と7月だった。

2026年8月4日、Search Engine Journalがr/SEOの投稿を取り上げた。AI Training = BlockとBot Fight Modeを併用した状態で、GooglebotとBingbotがsitemapを取得しようとしてHTTP 403を受け取り、CloudflareパネルのAI Crawlersセクションでは両者がブロック済みと表示されていた。Cloudflare Communityのスレッドでは、あるサイト運営者が、2026年7月初めにはすでに検証済みのGooglebotのリクエストが403を返され、Security Eventsに"Blocked by 'Block AI training crawlers'"と記録されていたと書いている。

そして重要な日付。2026年9月15日からCloudflareのデフォルトが変わる。新規ドメインでは、広告が表示されるページでTrainingとAgentカテゴリのボットがブロックされ、Searchは許可のまま残る。つまり新しいドメインは最初からブロックが入った状態で届くので、クレームが来てから対処するのではなく、公開前に片付けておく必要がある。

1. 2026年7月1日CloudflareがボットをSearch、Agent、Trainingに分割
2. 2026年8月4日GooglebotとBingbotがsitemapで403という報告
3. 2026年8月5日警告: Googlebot、Bingbot、Applebotは混在扱い
4. 2026年8月31日AI面のレポートを全Search Consoleへ展開
5. 2026年9月15日新規ドメインの新しいブロック既定値

なぜこれが珍しい話ではなくなったのか

1年前、クローラーのブロックは大手パブリッシャー十数社の話題だった。今は背景音だ。Cloudflareのデータでは、同社ネットワーク全体のクローラーへの4xx応答の割合は2026年7月に35,79%、2025年7月の14,04%に対して21,75ポイントの上昇。週次の推移も裏付けている。2025年は11,70%から16,77%、2026年は34,85%から37,10%。

理由はわかりやすい。Cloudflareの2026年6月の統計では、モデル系ボットのトラフィックのうち学習クローラーが50,6%、検索クローラーはわずか10,7%で、巡回の半分以上が前回訪問から変わっていないページに対するものだった。2026年6月、Cloudflareのマシュー・プリンスは、ボットのトラフィックが初めて人間を上回ったと発表した。ログを見て、負荷の半分が変わっていないページを誰かのデータセットに写しているだけだとわかれば、"禁止"のボタンは自然に押される。問題は、そのついでに何が巻き込まれるかだけだ。

もう一つ、習慣を変えるディテール。ボットの管理はrobots.txtのレイヤーからインフラのレイヤーへ移った。Cloudflareのカテゴリ、useフィールド(immediate、reference、full)を持つContent Signals、暗号による識別のWeb Bot Auth。Shopifyは2026年5月7日から、Web Bot Authでリクエストに署名しないボットへより厳しい制限を適用している。robots.txtの編集がなくなるわけではない。ただ、サイトがボットに"ノー"と言う場所は、もうそこだけではない。

常にホワイトリストに入れておくべき相手

リストは短く、AIの話ではない。これがないと検索、広告、商品フィードが壊れるボットたちだ。

• Googlebot
• Google InspectionTool
• AdsBot-Google
• AdsBot-Google-Mobile
• Storebot-Google

AdsBotについては公式の見解があり、これで議論は終わる。Google Adsの"Destination not accessible"のヘルプは、原因としてAdsBotの巡回時の404と403、robots.txtでのAdsBot禁止、アクセスを遮断するサーバー設定を明示している。同じページの推奨は、user agentのAdsBot-GoogleとAdsBot-Google-Mobileをホワイトリストに追加し、すべての国からサイトにアクセスできるようにすること。後者は、CDNレベルのジオフィルタで世界の半分を閉じている人には別の意味で痛い。ボットは、あなたが待っている場所から来るわけではない。

Google InspectionToolはSearch ConsoleのURL検査が使うものだ。Storebot-Googleは商品ページを巡回する。これらを通さないと、順位が落ちるのではなく、妙なことが起きる。レポートは空っぽ、なのにサポートは"こちらでは問題ありません"と言う。

Search Consoleの緑のチェックが何も証明しない理由

2026年9月7日の同じ分析には、読む価値のある一文がある。URL検査での成功は検索ボットのアクセスを確認するが、AdsBotのアクセスを証明はしない。別のuser agentであり、CDNのルールは一方を通してもう一方を切ることがある。

だから確認の順番はこうなる。まず直近30日のuser agent別ログ、次にCDNパネルのセキュリティイベント、そのあとで初めてGoogleのツール。ログには意見ではなく応答コードが出る。Googlebotが来て403を受けているなら、そこには403がある。インターフェースのチェックマークでは覆せない。自分はこのチェックを月1回、そしてインフラに触れたあとは毎回、他人が触ろうと自分が触ろうと回している。

41日の実験が示したこと

損失のもう半分も技術的だが、種類がまったく違う。LOCOMOTIVEのAssociate Director SEOであるヴィニシウス・スタヌーレが41日間の実験を行い、Search Engine Landに書いた。サイトに11のセクションを作ってリンクを素のHTMLで置き、別の10のセクションにはJavaScript経由でリンクを差し込んだ。sitemapは404を返し、パンくずと階層パネルは外した。つまりボットにはリンクだけを残した。

結果。Googlebotは、JSリンク経由でしか辿れないページの2%まで到達した。GPTBot、ClaudeBot、Bingbot、Metaのクローラー、Amazonbotは、そうしたページを実質ゼロしか見つけなかった。

これは2024年12月のVercelとMERJのより早い計測とも一致する。主要なAIクローラーのどれにもJavaScriptの実行は記録されなかった。ChatGPTのクローラーはリクエストの11,50%でJSファイルをダウンロードし、Claudeのクローラーは23,84%だったが、実行はしていない。ダウンロードと実行は別物で、まさにこの差でカタログ、フィルタ、クリックで読み込まれるブロック、無限スクロールが消える。

だから実務は単純だ。ページを開き、ブラウザでJavaScriptを切り、何が残るか見る。商品やテキストの代わりに空の枠が残ったなら、AIボットにとってそれは存在しない。リンクはクリックハンドラではなくhref属性を持つaタグであるべきで、主要なページは200を返すsitemapに入っているべきだ。

AIの回答から落ちたことに気づく方法

厄介なのは、この脱落が普段のレポートに映らないことだ。従来の順位は動かないままかもしれないし、オーガニックの流入は滑らかに続く。それでもAIの回答からサイトは消えている。標準の月次レポートには、そういう列がそもそもない。

Googleは一部を出し始めている。2026年6月3日にSearch ConsoleでSearch Generative AI performanceのレポートが始まり、2026年8月31日に世界の全サイトへ展開された。表示回数、ページ、国、デバイス、日付がある。クリックはない。同じ2026年8月31日に、AI Overviews、AI Mode、Discoverの生成機能を含むGoogleのAI面での表示からコンテンツを外せるスイッチがグローバルに有効化された。さらにレポートには外部プラットフォームでの表示も追加され、その中にInstagram、YouTube、TikTokがある。

そして先に知っておくべき制約。生成系のデータはインターフェースの中だけに存在する。2026年8月11日の確認では、Search Analytics APIもBigQueryへのエクスポートも、この数字を返さない。つまりAI可視性の自動ダッシュボードはまだ作れないので、手で入ってスクリーンショットを週ごとに残すことになる。クリックなしの表示回数、エクスポートなし、履歴の穴。データはあるが、通常のクエリレポートのようには寄りかかれない。

落ち込みをアルゴリズムのせいにするのが早すぎる理由

順位が落ちたとき、最初の仮説はいつも同じだ。アップデートだ。カレンダーを見よう。最後に確認されたランキング更新はスパムアップデートで、2026年8月18日の米国東部時間12:30ごろに開始、2026年8月21日の4:50に完了、展開は約2,5日、グローバルかつ全言語対象、2026年3回目のスパムアップデートだった。9月に落ちた残りは、たいてい技術的なものだ。ボットのアクセス、レンダリング、壊れたランディング。

ここに9月のもう一つの話も重なる。Google Data Managerがサイト側のデータ収集の仕組みを変えており、リスクの分析が2026年9月8日に出た。意味は同じだ。全員がテキストの品質を議論している間に、誰も見ていない層が壊れる。いつも動いていたから、誰も見ないのだ。

今週やること

1. 30日分のログを開き、user agent別に403と404の応答をすべて洗い出す。Googlebot、AdsBot-Google、AdsBot-Google-Mobile、Google InspectionTool、Storebot-Google。
2. CDNのパネルで、学習クローラーのブロックや、混在クローラーに影響するボット対策モードが有効になっていないか確認する。新規ドメインなら2026年9月15日より前にやる。あとではなく。
3. ブラウザでJavaScriptを切り、代表的な3種類のページを歩く。トップ、カテゴリ、商品または記事。スクリプトなしで見えないものは、AIボットには存在しない。
4. sitemapが200を返すこと、重要なリンクがhref付きのaタグであることを確認する。
5. Search ConsoleのAI面のレポートに入り、セクション別の現在の表示回数を記録し、週1回記録する リマインダーを自分に設定する。エクスポートはないので、履歴は勝手に溜まらない。

ちなみに学習クローラーをブロックするのは、まともな判断だ。まともでないのは、自分が誰をブロックしたのかを、広告停止の通知メールで知ることだ。必要なら、ログと設定からあなたのケースを見るので、サポートまで連絡を。