在近年來的人工智能研究中，思維鏈的概念越來越受到重視，尤其是在大型語言模型的訓練和推理中。最近，西湖大學 MAPLE 實驗室的齊國君教授團隊首次提出了一種新穎的 “擴散式發散思維鏈”，這是一種爲擴散語言模型量身定製的全新推理方式。

傳統的大型語言模型通常採用線性思維鏈，即通過逐步推理生成答案。然而，人的思維過程往往更爲複雜，充滿了非線性和跳躍性的特點。齊教授的團隊認爲，模仿這種發散思維將有助於提升模型的創造力和解決問題的能力。

image.png

擴散式發散思維鏈的核心在於，它允許模型在推理過程中生成任意順序的中間結果，而不需要遵循傳統的語法結構或可讀性要求。通過這種方法，模型能夠探索更多元化的思考路徑，形成更具創造性和靈活性的答案。這一方法已經在多種擴散語言模型中成功應用，特別是在數學推理和代碼生成任務中，其效果超越了現有的模型。

在具體實施上，團隊通過強化學習的方式優化生成的整個過程。模型首先從一個無信息的掩碼序列開始，逐步生成關鍵信息，並在擴散去噪的過程中得出最終的答案。與傳統的思維鏈不同，擴散思維鏈能夠利用中間生成的內容來促進最終答案的準確性。

研究團隊的成果表明，擴散式發散思維鏈不僅能夠提升模型的推理能力，還爲未來的模型訓練提供了重要的啓示。這種創新的思維鏈方法，尤其是在谷歌最新發佈的 Gemini Diffusion 模型中，預示着更廣泛的應用潛力。未來，擴散式思維鏈有望成爲擴散語言模型訓練的標準流程。

arXiv 地址：https://arxiv.org/abs/2505.10446

GitHub 地址：https://github.com/maple-research-lab/LLaDOU