先日、ウクライナの3D人体モデル専門サイトTrilegangersが前例のないトラフィック攻撃を受け、サーバーがダウンしました。同サイトは3Dアーティストやゲーム開発者向けに大量の人体3Dモデルデータを提供していましたが、OpenAIのクローラーGPTBotによる頻繁なアクセスにより、窮地に陥りました。

Trilegangersのスタッフによると、サイトの利用規約では無許可のアクセスと利用を明確に禁止していましたが、robots.txtファイルでクローラーのアクセスを適切にブロックしていなかったため、サーバーに過剰な負荷がかかりました。サーバーログによると、OpenAIのGPTBotクローラーは600以上の異なるIPアドレスから数万件のリクエストを送りつけ、サイトが正常に機能しなくなる、分散型サービス拒否（DDoS）攻撃のような状態を引き起こしました。

image.png

OpenAIはクローラーの説明の中で、GPTBotによるデータ収集を望まない場合はrobots.txtファイルで設定する必要があると述べています。しかし、Trilegangersはそれに気づかず、今回の事態に至りました。robots.txtファイルは法的義務ではありませんが、サイトが無許可の使用を禁止している場合、GPTBotによるアクセスは規定違反となる可能性があります。

さらに、Amazon AWSサーバーを使用しているため、Trilegangersの帯域幅とトラフィックの消費が急増し、追加費用負担が生じました。この緊急事態に対応するため、Trilegangersはrobots.txtファイルを正しく設定し、Cloudflareを使用してGPTBotを含む複数のクローラーのアクセスをブロックしました。この対策により、サーバーの負荷軽減とサイトの正常な運用が期待されます。

この事件は、特にAI技術の発展に伴い、ネットワーククローラーの行動に対する関心を高めました。技術利用と著作権保護のバランスをどのように取るかは、深く考えるべき課題となっています。