《時代》雜誌被發現針對人類讀者和 AI 爬蟲提供完全不同的訪問版本,引發數字出版界廣泛關注。開發者 Vincent Schmalbach 通過更改 User-Agent 測試發現,常規瀏覽器訪問時網站返回約 303KB 的標準 HTML 頁面,而當訪問身份切換爲 ClaudeBot 或 PerplexityBot 後,服務器返回的僅是約 13KB 的 Markdown 格式內容,響應頭中的 content-type 被明確設爲 text/markdown。這一設計意味着《時代》正在爲 AI 系統量身定製易於解析的文本內容,而非讓爬蟲自行從複雜網頁中提取信息。
更引人注目的是,這些面向 AI 爬蟲的 Markdown 頁面中還整合了定向廣告,由 AI 廣告技術公司 Mobian 提供。爲了讓生成式 AI 更容易讀取廣告主信息,頁面內嵌了問答格式的贊助內容,這些廣告明確標註爲贊助性質,但在人類讀者訪問常規頁面時完全不會出現。換言之,當用戶通過 ChatGPT 或 Perplexity 等 AI 工具搜索《時代》雜誌內容時,AI 可能會在回答中無意間"念出"品牌廣告,而用戶對此毫不知情。
出版商爭奪 AI 時代話語權的新打法
這一策略揭示了出版商在 AI 時代 monetization 的全新思路。傳統模式下,出版商通過展示廣告和訂閱獲取收入,但 AI 爬蟲抓取內容後直接返回摘要,用戶不再訪問原網頁,流量和廣告收入隨之流失。通過爲 AI 爬蟲提供特供版頁面並嵌入廣告,《時代》試圖在 AI 搜索結果中保留商業變現能力,將品牌信息直接植入 AI 生成的回答中。
這種做法也引發了關於透明度和倫理邊界的討論。AI 搜索引擎是否應在回答中標註內容來源包含贊助信息,用戶是否有權知道 AI 回答中哪些部分受廣告影響,目前尚無明確規範。隨着越來越多出版商效仿這一模式,AI 搜索生態中的廣告透明度問題將成爲行業無法迴避的議題。《時代》的這一嘗試,可能只是出版商與 AI 平臺之間博弈的序幕。
