Cloudflare は現地時間7月1日にクローラー管理ルールを更新し、各種クローラーに検索、AIエージェント、モデルトレーニングなどの行動ラベルを付与しました。2026年9月15日を実施ノードとして設定し、その時点からはAIエージェントやトレーニング用のクローラーが広告付きウェブページへのアクセスをデフォルトでブロックされます。

多くのサイト運営者はコンテンツが検索可能であることを希望し、同時に自社の著作権収益を保護したいと考えていますが、市場には検索とAI収集機能を併せ持つ混合型クローラーが多く存在し、区別して管理することが難しいです。プラットフォームのクローラー管理機能は、クローラーのすべての用途を識別し、そのうち一つの行動がサイトによって禁止されている場合、その混合クローラーはそのウェブサイトのコンテンツを取得できなくなります。

Cloudflare は新しいデータダッシュボードをリリースする予定で、ネットワーク最適化がSEO、GEOからAEO（答えエンジン最適化）への業界の変化に対応し、サイト運営者が流量の出所を簡単に確認できるようにします。