人工知能のクローラーがあふれる時代において、ウェブサイトの所有者は二難に陥っています。検索エンジンによるトラフィックや露出を望んでいる一方で、無制限な訓練用クローラーがコンテンツを盗んだり、広告収益を妨害したりすることを懸念しています。7月1日、Cloudflareは業界レベルの解決策として、新たなAIトラフィック管理ツールを正式リリースしました。これにより、サイト運営者にとって異なるタイプのAIクローラーに対して細かく制御できるようになります。

これまで多くのウェブサイトは、悪意あるクローラーを防ぐためにすべての外部アクセスを一括りにブロックする選択をしていましたが、これはSEOに悪影響を与え、検索エンジンでのランキングが下がる原因となることがありました。今回のアップデートの核心的な特徴は、元々曖昧だった「AIトラフィック」を検索クローラー、スマートエージェントクローラー、およびトレーニングクローラーの3つのカテゴリに分類したことです。サイト運営者は現在、これらのクローラーに対して業務ニーズに応じて差別化された「許可」または「ブロック」の戦略を実行できます。

image.png

この機能の導入は、広告収入に強く依存しているサイトにとって特に重要です。新しいトラフィック管理フレームワークにおいて、ウェブサイト所有者はコア広告ページをより効果的に保護でき、AIクローラーが頻繁に取得することで発生する不要なトラフィックを防止し、広告配信の正確性と収益に悪影響を与えないようにします。このような方法により、サイト運営者は主要な検索エンジンから得られる通常のトラフィックを維持しながら、コンテンツをモデルに訓練するために「盗む」ことを目的としたクローラーを排除することができます。

業界関係者の分析によると、この対応はAIとコンテンツ生態系の対立が単純なブロック対抗から、より戦略的な細かい統治段階へと移行したことを示しています。計算能力とデータ著作権の対立がますます激しくなる中、Cloudflareのこの動きは、サイト運営者にとってデータ資産とトラフィック価値を守るための「手術刀」として非常に有用であり、AIの技術的需要とコンテンツクリエイターの現実的利益のバランスを取ることに成功しています。