被各家 AI 爬蟲輪番"薅"內容的網站主，終於等來一個統一的對付辦法。11 月 1 日消息，OpenAI、谷歌、微軟與 Anthropic 宣佈將共同採用一套新標準，讓內容發佈方能夠一次性聲明"拒絕 AI 抓取"，而不必再挨家挨戶去談。

一個開關，多家通用

這套機制由 Anthropic 技術負責人 Kevin Kelley 提交給互聯網工程任務組（IETF），並直接嵌進網站已有的 robots.txt 文件裏。過去，robots.txt 只告訴搜索引擎哪些頁面能抓、哪些不能，如今它的管轄範圍被順勢延伸到 AI 訓練。差別在於：以前發佈方想攔某家 AI，得單獨去它那兒登記偏好；有了新標準，一次寫入就能同時通知多家。對那些苦於素材被悄悄喂進模型的媒體、論壇與獨立站而言，等於省掉了一堆重複談判。

從各自爲戰到統一信號

推動這事兒的背景很現實——AI 爬蟲四處抓取網頁、把內容塞進訓練集，發佈方正爲此焦頭爛額，而"每家公司各設一套規則"的舊法子早已跑不贏。Anthropic 已率先吃下這套標準，OpenAI 稱未來數月內落實，谷歌與微軟預計明年跟進。連 Meta 發言人也表態支持建立通用信號，只是落地時間還沒定。當四家掌握最多算力的巨頭罕見在"如何被拒絕"上達成一致，內容版權這場拉鋸，總算從混沌走向了可對話的桌面。