AIチャットボットが直接答えを提供すると、ユーザーはもはや元のウェブページにアクセスしなくなる。このように生成型AIによって引き起こされた「トラフィックの崩壊」により、世界中のコンテンツ制作者たちは生存危機に直面している。このような状況の中で、長期的にオープンで共有することを推進してきた非営利団体Creative Commons（CC）は珍しく、「支払いによるクロール（pay-to-crawl）」技術を慎重に支持する立場を示した。これは、コンテンツ生態系に持続可能な経済モデルを再構築しようとする試みである。

CCは知識共有ライセンス（CCライセンス）の普及で知られている。今年7月には、AIデータ共有のための法的・技術的な枠組みの構築を提唱した。現在、AIのクローラーが大量にコンテンツを取得して流量を戻さない現実に直面し、CCは最新のブログでこう述べている。「責任を持って実施される限り、支払いによるクロールは、サイトがコンテンツ制作と公開を維持するのに役立ち、さらに多くのコンテンツが閉鎖的な壁の向こうに移されたり、完全に消えてしまうことを防ぐことができるだろう。」

「支払いによるクロール」の核心的な論理は単純で直接的だ。AI企業（例：OpenAI、Google、Meta）のクローラーがモデルを訓練するためにウェブサイトにアクセスする際、コンテンツ提供者に料金を支払う必要がある。このモデルはCloudflareによって最初に推進され、その背景にはコンテンツ業界の集団的な不安がある。従来の「コンテンツでトラフィックを交換する」インターネットの契約はすでに崩れている。過去には、ウェブサイトは検索エンジンによってインデックスされることを歓迎した。なぜなら、検索結果から訪問や広告収入を得ていたからだ。しかし今では、ユーザーがAIの会話で答えを得た後、ほとんど元のページに戻らない。複数の研究によると、ニュース出版業界の検索トラフィックは急激に減少しており、中小メディアが最も深刻な影響を受けている。

大規模なメディアは、AIの巨頭との独占的なライセンス契約を結ぶことができる——例として、OpenAIとCondé Nast、Axel Springer、PerplexityとGannett、Amazonと『ニューヨーク・タイムズ』、Metaといくつかの出版社など。しかし、何百万もの独立ブログ、小規模なニュースサイト、教育プラットフォームにとっては、そのような交渉力は存在しない。支払いによるクロールが標準化・自動化されれば、彼らにとっての「普遍的な収入源」となる可能性がある。

しかし、CCの立場は完全に前向きではない。この団体は明確に警告している。「設計が適切でなければ、支払いによるクロールはネットワーク上の権力の集中を加速させ、公共利益を持つ主体へのアクセスを断つことになるかもしれない。」「研究者、非営利団体、文化遺産機関、教育者などの公共利益を目的としたグループが、支払いの壁によって排除されることはあってはならない。」とCCは強調している。

これに対応するため、CCは「責任ある支払いによるクロール」の原則を提示した：

- ウェブサイトのデフォルトオプションにしてはならず、コンテンツ提供者が積極的に有効化する必要がある；

- 一括りの全網規則を避けるべきであり、ウェブサイトの自主性を尊重すべきである；

- フリーアクセスではなく、制限付きアクセスをサポートすべきであり、低頻度または非商業的なクローリングを許容すべきである；

- 学術や教育用途のような公共利益のアクセスを保障すべきである；

- システムはオープンソースで互換性があり、標準化されたコンポーネントを使用すべきである。

注目すべきは、支払いによるクロールのエコシステムが急速に形成されていることだ。Cloudflareに加えて、マイクロソフトは出版商向けのAIコンテンツ市場を構築中である。スタートアップ企業のProRata.aiやTollBitも同様の計画を開発中だ。さらに重要なのは、**RSL**（Really Simple Licensing）という新しい標準が広く支持されていることである。この標準は、ウェブサイトがどのコンテンツがクロール可能か、どのような目的で使用できるかを宣言できるが、**クローラーを強制的にブロックすることはしない**——つまり、「宣言＝許諾」という中間的な道を選択している。Cloudflare、Akamai、Fastlyの3つのCDN大手はRSLを採用しており、Yahoo、Ziff Davis、O’Reilly Mediaなどのコンテンツ提供者も参加している。CCもRSLを支持し、それを「CC信号（CC Signals）」プロジェクトに組み込むことを発表した。このプロジェクトは、AI時代に新たなコンテンツライセンスおよび発見ツールを開発することを目指している。