近日,Reddit首席執行官史蒂夫·哈夫曼在接受採訪時表示,該公司正尋求與各大科技公司達成數據使用協議,要求想繼續抓取Reddit數據的公司必須付費。這一舉措來源於Reddit與谷歌和OpenAI已達成的協議,哈夫曼希望其他公司也能效仿。
哈夫曼特別點名微軟、Anthropic和Perplexity拒絕就數據使用進行談判,稱"屏蔽這些公司真是太麻煩了"。他指出,如果沒有相關協議,Reddit無法控制或瞭解其數據的使用方式和用途,這迫使公司不得不屏蔽那些不願接受條款的企業。
爲應對這一局面,Reddit近幾個月來加大了對網絡爬蟲的限制。7月初,該公司更新了robots.txt文件,以阻止未簽訂協議的爬蟲訪問。隨後,用戶發現Reddit內容僅出現在與之有協議的Google搜索結果中,而在Bing等其他搜索引擎中消失。
哈夫曼批評微軟在未經授權的情況下使用Reddit數據訓練AI,並通過必應API將內容出售給其他搜索引擎。他引用微軟AI首席執行官的言論,稱互聯網上的公共數據是"免費軟件"。哈夫曼認爲,這種觀點代表了部分科技公司對互聯網內容的態度。
針對Reddit內容從Bing消失一事,微軟搜索主管Jordi Ribas表示這是由於Reddit阻止Bing抓取其網站。微軟發言人強調,公司尊重網站提供商對內容使用的指示。
哈夫曼指出,傳統搜索引擎的價值交換模式已發生變化。隨着搜索、總結和AI訓練的融合,單純以流量換取內容的模式變得複雜。他表示,Reddit正與傳統媒體出版商一道,尋求爲生成式AI提供信息的付費模式。
對此,Anthropic表示已將Reddit列入爬蟲黑名單,尊重其robots.txt設置。微軟拒絕就此事發表評論,Perplexity則未迴應置評請求。
這一爭議凸顯了數字時代內容價值和使用權的複雜性,也預示着科技公司與內容提供商之間可能出現新的合作模式。