こんにちは、これはあなたのために整理したAIクローラーがネットワークに与える影響に関するニュースレターです。内容は簡潔で重要なポイントが明確です。

クラウドサービス会社Fastlyの最新報告によると、人工知能（AI）クローラーがオープンネットワークに大きな負担をかけていることが明らかになりました。ウェブサイトへのトラフィックの大幅な増加は、人間の訪問者ではなく、特に大手AI企業のクローラーや収集プログラムによってもたらされています。

報告書では、すべてのAIロボットによるアクセスのうち、AIクローラーが約**80%**を占めており、残りの**20%**はAI収集プログラムによって構成されていると述べています。これらの収集プログラムは、ユーザーが大規模言語モデル（LLMs）にトレーニングデータの日付以降の情報を要求した後にトリガーされ、短時間でトラフィックが急激に増加します。

ハッカー レイク

AIクローラーのトラフィックに関して、報告書は主要なテクノロジー企業の割合を明らかにしています。MetaのAIクローラーのトラフィックは全体の52%GoogleとOpenAIがそれぞれ23%と20%を占めています。一方、AnthropicとPerplexity AIはそれぞれ3.76%と1.12%にとどまっています。

AIクローラーと比べて、AI収集プログラムのトラフィックはさらに爆発的な傾向があります。Fastlyが観測したところ、ある収集プログラムは1分間に39,000件以上のリクエストを生成していることが確認されました。注目すべきは、OpenAIがAI収集プログラムのトラフィックにおいて圧倒的な優位性を保っていることで、その割合はなんと98%にも上ります。これは、ユーザーがOpenAIの大規模モデルに対してリアルタイム情報が必要な場合、大量の即時収集行為が引き起こされ、ウェブサーバーに一時的な大きなストレスをかけることを示しています。