Cloudflareは、人工知能検索スタートアップ企業であるPerplexityが、特定のウェブサイトへのアクセスを妨げる制限を回避しようとしている可能性があると報告しています。Cloudflareによると、自分のクローラーがブロックされた際、Perplexityはアイデンティティを隠す方法で、robots.txtファイルに記載されている制限やWebアプリケーションファイアウォール（WAF）ルールなどのサイトの設定を回避しようと試みるそうです。

開発者、ハッカー、バグ、攻撃

この指摘により、Perplexityが未承認でコンテンツを取得しているという懸念が高まっています。以前にも、Perplexityは有料壁を強引に突破したり、robots.txtファイルを無視したりしたことで批判を受けましたが、当時のCEOであるAravind Srinivasは責任を第三者のクローラーにあると述べました。

顧客の苦情を確認するために、Cloudflareは類似のアクセス制限を持つ新しいドメインを作成してテストを行いました。その結果、Perplexityのクローラー（最初は「PerplexityBot」または「Perplexity-User」と呼ばれていた）がブロックされると、すぐにユーザーエージェントを変更し、「macOS上で動作するGoogle Chrome」と偽装するということが分かりました。Cloudflareは、この「非公式なクローラー」が、IPアドレスを繰り返し変更し、自律システムネットワーク（ASN）も変えることでブロックを回避していると述べています。Cloudflareは、この回避行動が「数万のドメインと毎日何百万ものリクエスト」に関与していると観測しています。

これに対し、Perplexityの広報担当者Jesse Dwyerは声明の中で、Cloudflareの報告は「過剰な宣伝」であり、そこには「多くの誤解」があると語りました。それでも、CloudflareはPerplexityを自身の認証済みロボットリストから削除し、その「見えないクローリング」をブロックする方法を公開しました。