隨着生成式AI的迅猛發展,業界對"更大即更好"的傳統認知正在發生轉變。多位頂尖AI科學家近期表示,單純通過增加數據量和算力來提升AI性能的方法已接近瓶頸,新的技術突破方向正在顯現。
Safe Superintelligence和OpenAI的聯合創始人Ilya Sutskever近日發表觀點,認爲傳統預訓練方法已進入性能平臺期。這一論斷格外引人注目,因爲正是他早期倡導的大規模預訓練方法催生了ChatGPT。如今,他表示AI領域已從"規模擴張時代"邁入"奇蹟和發現時代"。
當前大模型訓練面臨多重挑戰:動輒數千萬美元的訓練成本、系統複雜度帶來的硬件故障風險、漫長的測試周期,以及數據資源和能源供應的限制。這些問題促使研究人員開始探索新的技術路徑。
其中,"測試時計算"(test-time compute)技術受到廣泛關注。這種方法允許AI模型在使用過程中實時生成和評估多個方案,而非直接給出單一答案。OpenAI研究員Noam Brown打了個形象的比方:讓AI在一盤撲克牌中思考20秒,效果堪比將模型規模和訓練時間擴大10萬倍。
目前,包括OpenAI、Anthropic、xAI和DeepMind在內的多家頂尖AI實驗室都在積極開發各自的技術版本。OpenAI已在其最新模型"o1"中應用了這一技術,首席產品官Kevin Weil表示,通過這些創新方法,他們看到了大量提升模型性能的機會。
業內專家認爲,這種技術路線的轉變可能重塑整個AI行業的競爭格局,並從根本上改變AI公司對各類資源的需求結構。這標誌着AI發展正在進入一個更注重質量提升而非單純規模擴張的新階段。