Cloudflare近日宣佈推出一個顛覆性的市場 ——“按爬蟲付費”,旨在重塑網站擁有者與人工智能(AI)公司的關係。這一全新市場將幫助內容出版者更好地控制他們的內容,同時爲 AI 公司提供一種公平的抓取內容的方式。

過去一年,Cloudflare 爲應對 AI 爬蟲的激增推出了多項工具,包括一鍵阻止所有 AI 爬蟲的解決方案和監控 AI 爬蟲訪問情況的儀表板。Cloudflare 首席執行官馬修・普林斯在接受採訪時表示,這些工具爲新市場的建立打下了基礎。

seo,爬蟲

在 “按爬蟲付費” 市場中,網站擁有者可以決定讓 AI 爬蟲以特定的費率抓取他們的網站,或選擇免費開放,甚至完全阻止爬蟲訪問。這種模式爲網站提供了更多選擇,使其能夠掌控內容的使用權。

這一市場的推出恰逢新聞出版行業面臨巨大挑戰之際,特別是在谷歌搜索流量逐漸減少和 AI 聊天機器人日益流行的背景下。儘管一些大報社已經與科技公司簽署了內容授權協議,但絕大多數中小型出版者依然沒有獲得公平的收益分配。Cloudflare 希望通過這一創新的商業模式,爲更多出版者提供可持續的收入來源。

同時,Cloudflare 還宣佈,所有新建網站將默認阻止 AI 爬蟲,網站擁有者必須單獨授予某些爬蟲權限。這一措施得到了包括康泰納仕、時代雜誌、美國新聞社等多家大型出版商的支持,大家都期望藉此實現 “基於許可的抓取” 模式。

然而,AI 時代給出版商帶來的挑戰不容忽視。最新數據顯示,AI 爬蟲的抓取頻率遠高於谷歌爬蟲。以 OpenAI 的爬蟲爲例,它每次爲出版商帶來的推薦流量竟需被抓取1700次,而 Anthropic 更是需要73,000次。這使得出版商在依賴用戶訪問網站的商業模式上面臨嚴峻考驗。

Cloudflare 還表示,該市場的真正潛力在於未來 “智能代理” 的廣泛應用。想象一下,用戶通過智能代理程序獲取最新的科研成果或法律信息,而這些代理程序可以按需爲優質內容付費。

參與這一實驗的 AI 公司和出版商需在 Cloudflare 上註冊賬戶,通過平臺設定價格和交易。雖然目前沒有使用加密貨幣,Cloudflare 的 CEO 暗示未來可能會探索使用穩定幣進行交易。

Cloudflare 的 “按爬蟲付費” 市場爲出版者提供了一條新的盈利路徑,雖然還面臨諸多挑戰,但其潛力不可小覷。