全球知名的網絡基礎設施公司 Cloudflare 近日宣佈推出一項名爲 “AI Labyrinth”（AI 迷宮）的新工具，旨在打擊未經授權抓取網站數據的網絡爬蟲。這一舉措的核心在於，當 Cloudflare 監測到不當的爬蟲行爲時，該工具會將這些爬蟲引導到一系列 AI 生成的虛假頁面，目的在於 “拖延、迷惑並浪費” 惡意爬蟲的資源。

QQ_1742780352546.png

長期以來，網站管理員依賴 “robots.txt” 文件來管理爬蟲的訪問權限，但很多 AI 公司，包括一些知名企業，如 Anthropic 和 Perplexity AI，常常忽視這一規則。Cloudflare 表示，他們每天面臨超過500億個爬蟲請求，儘管有能力識別和阻止惡意請求，但這往往促使攻擊者不斷調整策略，形成一場無休止的 “軍備競賽”。

與其簡單阻止這些爬蟲，Cloudflare 的 AI Labyrinth 選擇了主動出擊。該工具的設計使得爬蟲不得不處理與目標網站數據無關的信息，進而將這些爬蟲困在虛假的信息中。Cloudflare 強調，AI Labyrinth 不僅是 “下一代誘餌”，它還幫助識別惡意爬蟲，瞭解新出現的爬蟲模式和特徵。這些鏈接對普通人來說是不可見的，從而避免了人類用戶的困擾。

根據 Cloudflare 的介紹，網站管理員可以通過其 Cloudflare 儀表板中的 “爬蟲管理” 部分來選擇是否啓用 AI Labyrinth。這項新功能的推出只是使用生成 AI 對抗爬蟲的第一步，Cloudflare 還計劃構建 “整套鏈接 URL 網絡”，使爬蟲更難識別虛假數據。值得注意的是，AI Labyrinth 與 Nepenthes 工具類似，後者被設計用來將爬蟲 “拖延” 數月，沉浸在大量 AI 生成的垃圾數據中。

官方博客：https://blog.cloudflare.com/ai-labyrinth/

劃重點:  

🕷️ Cloudflare 推出 “AI Labyrinth”，用於對抗惡意抓取數據的網絡爬蟲。  

🔗 新工具通過 AI 生成虛假頁面，引導爬蟲進入無用信息中，浪費其資源。  

💡 網站管理員可以在 Cloudflare 儀表板上啓用此功能，未來還將擴展爲更復雜的鏈接網絡。