Cloudflare は最近、サービスのデフォルトルールに重大な更新を発表し、全業界のAI企業に対して9月15日までに修正を求める期限を設定しました。すべてのAIベンダーは、検索クローラーとモデルトレーニング、AIエージェント専用クローラーを分離しなければならず、区別が行われていない混合クローラーが広告ページにアクセスすると、システムによって自動的にブロックされます。

新規則の対象範囲は非常に広範囲であり、新規プラットフォーム登録ユーザー、古いユーザーが新規サイトを構築する場合、およびすべての無料ユーザーのウェブサイトが一様に適用されます。ウェブ管理者が混合クローラーを許可したい場合は、手動でバックエンドの設定を変更する必要があります。この調整は、AI企業がウェブページのトレーニング素材を取得する手段を直接変えることになります。

多くのサイト運営者は、伝統的な検索エンジンにコンテンツを収録することを望んでいますが、AIが無償で大規模に知的財産を収集・トレーニングすることには同意したくありません。Cloudflareは、Googleクローラーが検索とAIデータ収集の両方の機能を備えていることを明言し、ウェブサイトが検索のみを開き、AIトレーニングの収集を遮断することは困難であると述べています。Googleはこれに対し、AIトレーニング用にサイトをブロックできる専用ロボットツールを提供しましたが、これは検索収録には影響しません。

しかし、そのコアクローラーは依然として検索のためのAI機能にデータを収集し続け、検索とAIデータのニーズを完全に分離することはできません。プラットフォームCEOは、ロボットトラフィックがすでに人間のアクセスを大幅に超えていると述べ、業界生態系においてはさまざまな収集行為に対する規制が必要であると強調しています。

Cloudflareは継続してコンテンツ所有者保護ツールを強化しており、2024年からAIクローラー防止ツールを新しい価値に基づく課金モードにアップグレードしました。これまでプラットフォームは収集回数に基づいて課金していましたが、現在は「Pay Per Use」として、AIにおけるコンテンツの実際の収益に基づいて支払いが行われます。データによると、半数以上のAIクローラーは更新されていないページを繰り返し収集しており、課金メカニズムにより無駄なトラフィックを減らし、クリエイターの収入増加に寄与します。