前OpenAI首席技術官Mira Murati創辦的Thinking Machines Lab近日發佈重要技術突破，成功解決了困擾AI行業多年的模型輸出不確定性問題。該實驗室在最新發佈的研究報告中宣佈，他們已經實現了大語言模型推理過程的完全確定性輸出。

這項名爲《在LLM推理中戰勝不確定性》的研究報告指出，即使在溫度參數設爲0的情況下，傳統大語言模型仍會對相同輸入產生不同輸出。研究團隊通過深入分析發現了造成這一現象的根本原因，並提出了有效的解決方案。

研究團隊識別出兩個主要的技術原因。首先是浮點數加法的非結合性問題。在GPU並行計算環境中，（a + b） + c與a + (b + c)的計算結果可能存在細微差異，這些差異在複雜的神經網絡中會被逐層放大。

image.png

更爲關鍵的發現是，並行計算策略的變化是導致輸出不確定性的根本原因。不同的批量大小、序列長度以及KV緩存狀態會影響GPU內核的選擇策略，從而改變計算執行順序，最終導致輸出結果的差異。

針對這一技術挑戰，Thinking Machines Lab提出了batch-invariant解決方案。該方案要求所有關鍵計算核在處理不同批量大小或序列分割時，都能保持相同的計算順序和結果。研究團隊還針對RMSNorm、矩陣乘法和注意力機制等具體計算模塊提供了詳細的優化方法。

爲驗證技術方案的有效性，研究團隊選用了擁有2350億參數的Qwen3-235B-A22B-Instruct-2507模型進行實驗。經過1000次重複測試，該模型在相同輸入條件下實現了100%的輸出一致性，這在大語言模型發展史上尚屬首次。

image.png

業界專家認爲，這一技術突破對企業級AI應用具有重大意義。金融風控、醫療診斷、法律文書審覈等對準確性和一致性要求極高的應用場景將直接受益於這項技術進步。

Thinking Machines Lab此次選擇以開放研究的形式發佈成果，爲全球AI開發者提供了新的技術參考方向。該研究不僅解決了模型輸出的可預測性問題，也爲AI系統從實驗工具向生產工具的轉型提供了技術基礎。

據瞭解，Thinking Machines Lab成立於2023年，專注於AI基礎技術研究。該實驗室此前已獲得20億美元種子輪融資，並計劃在未來幾個月推出首款產品。

這項技術突破標誌着AI行業正從追求模型規模轉向追求應用質量的發展階段。隨着確定性輸出技術的推廣應用，AI系統的可靠性和實用性有望獲得顯著提升。

官方研究報告：https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/