Cloudflare 近期發佈服務默認規則重大更新，給全行業 AI 企業定下 9 月 15 日整改期限。所有 AI 廠商必須拆分搜索爬蟲與模型訓練、AI 代理專用爬蟲，未完成區分的混合爬蟲訪問帶廣告頁面會被系統自動攔截。

新規覆蓋範圍十分廣泛，新入駐平臺客戶、老用戶新建站點以及全部免費用戶網站均統一生效。網站管理員若想放行混合爬蟲，只能手動修改後臺配置，該調整直接改變 AI 企業獲取網頁訓練素材的渠道。

大量站長願意開放內容給傳統搜索引擎收錄，卻不願知識產權被 AI 無償大規模採集訓練。Cloudflare 直言谷歌爬蟲兼具搜索與 AI 數據採集功能，網站很難做到僅開放搜索、隔絕 AI 訓練抓取。谷歌對此作出迴應，推出專屬機器人工具供站點屏蔽 AI 訓練取用，不影響搜索收錄。

但其核心爬蟲仍會同步爲搜索內置 AI 功能採集數據，難以徹底割裂搜索與 AI 數據需求。平臺 CEO 表示機器人流量早已遠超人類訪問，行業生態急需規範約束各類抓取行爲。

Cloudflare 持續加碼內容方保護工具，從 2024 年防 AI 爬蟲工具迭代至全新按價值計費模式。以往平臺採用按抓取次數收費，如今升級爲 Pay Per Use，依據內容在 AI 中產生的實際收益結算。數據顯示超半數 AI 爬蟲反覆抓取無更新頁面，付費機制能減少無效流量，爲創作者增收。

目前該付費方案已聯合兩家 AI 企業試點，內容被 AI 產品調用後站長可直接獲取收益。在版權監管趨嚴的環境下，新規倒逼 AI 企業提升抓取透明度，也讓網頁創作者掌握更多內容控制權。