Cloudflareは最近、サイト所有者と人工知能（AI）会社の関係を再構築するための画期的な市場「ペイ・フォー・クローラー（按爬虫付费）」を発表しました。この新市場は、コンテンツ出版者が自らのコンテンツをよりよくコントロールできるようにし、AI会社に対して公平なコンテンツ収集方法を提供することを目的としています。

過去1年間、CloudflareはAIクローラーの急増に対応するために、すべてのAIクローラーを一括でブロックするソリューションや、AIクローラーのアクセス状況をモニタリングするダッシュボードなど、多数のツールを導入してきました。CloudflareのCEOであるマット・プリンス氏は、これらのツールが新市場の設立に基盤を築いたと述べています。

SEO、クローラー

「ペイ・フォー・クローラー（按爬虫付费）」市場では、サイト所有者はAIクローラーが自サイトを特定の料金でクロールすることを許可したり、無料で開放したり、完全にクローラーのアクセスをブロックしたりすることができます。このモデルにより、サイトはコンテンツの利用権をより多くの選択肢で管理できるようになります。

この市場の登場は、新聞出版業界が大きな課題に直面している時期と重なります。特に、グーグル検索からのトラフィックが減少し、AIチャットボットが人気を博している中でのことです。一部の大手新聞社はすでにテクノロジー企業とコンテンツ利用契約を結んでいますが、大多数の中小出版者にはまだ公正な収益分配がされていません。Cloudflareは、この革新的なビジネスモデルを通じて、より多くの出版者に持続可能な収入源を提供したいと考えています。

一方で、Cloudflareはすべての新規ウェブサイトにおいてAIクローラーをデフォルトでブロックすることを発表しました。サイト所有者は、特定のクローラーに個別にアクセス権を付与する必要があります。この措置は、コンデンサス、タイムズ雑誌、アソシエテ・プレスなどの大手出版業者の支持を得ており、みんなが「許可に基づくクローリング」のモデルを期待しています。

しかし、AI時代における出版業者への課題は無視できません。最新のデータによると、AIクローラーのクローリング頻度はグーグルクローラーよりもはるかに高くなっています。OpenAIのクローラーを例に挙げると、出版者にとっての推奨トラフィックを獲得するために、1回のクローリングで1700回も必要であり、Anthropicでは73,000回にも上ります。これは、ユーザーによるサイト訪問に依存するビジネスモデルにおいて、出版者にとって厳しい試練となっています。

Cloudflareは、この市場の真の可能性は今後「スマートエージェント」の広範な活用にあると述べています。例えば、ユーザーがスマートエージェントを使って最新の研究結果や法情報にアクセスし、そのエージェントが優れたコンテンツに対して必要に応じて支払いを行うといった未来が想像されます。

この実験に参加するAI企業および出版者は、Cloudflareでアカウントを登録し、プラットフォーム上で価格と取引を設定する必要があります。現在は暗号通貨は使用されていませんが、CloudflareのCEOは将来的に安定資産（ステーブルコイン）を使った取引を検討するかもしれないとの見解を示しています。

Cloudflareの「ペイ・フォー・クローラー（按爬虫付费）」市場は、出版者に新たな収益路線を提供しています。ただし、多くの課題に直面している現状でもありますが、その潜在力は見過ごせません。