近日，字節跳動的研究與上海交通大學的團隊共同推出了名爲 ProtoReasoning 的新框架，旨在通過邏輯原型來增強大語言模型（LLMs）的推理能力。該框架利用結構化的原型表示，如 Prolog 和 PDDL，推動了跨領域推理的進展。

image.png

近年來，大語言模型在跨領域推理方面取得了顯著突破，尤其是在長鏈推理技術的應用下。研究發現，這些模型在處理數學、編程等任務時，表現出了在邏輯難題和創意寫作等無關領域的優異能力。然而，這種靈活性背後的原因尚未完全明確。一種可能的解釋是，這些模型學習到了核心推理模式，即跨領域的抽象推理原型，這些原型能夠幫助模型更好地應對不同形式的問題。

ProtoReasoning 框架通過使用結構化的原型表示來提升模型的推理能力，具體包括兩個主要模塊:原型構建器和驗證系統。原型構建器將自然語言問題轉換爲形式化的表示，而驗證系統則負責檢查解答的正確性。在 Prolog 的應用中，研究人員設計了一個四步管道，生成多樣的邏輯問題，並通過 SWI-Prolog 進行驗證。對於規劃任務，研究團隊使用 PDDL 構建計劃生成、完成和重排任務，並通過 VAL 驗證器進行正確性檢查。

在對 ProtoReasoning 框架的評估中，使用了一個具有1500億參數的專家模型（其中150億爲活躍參數），並在經過精心挑選的高質量 Prolog 和 PDDL 樣本上進行訓練。結果顯示，在邏輯推理、規劃以及多項基準測試中，模型均表現出了顯著的提升。特別是與自然語言版本進行的對比實驗顯示，基於 Prolog 的訓練在邏輯推理方面表現接近於自然語言版本，進一步驗證了結構化原型訓練的有效性。

ProtoReasoning 框架展示了抽象推理原型在促進大語言模型跨領域知識轉移中的重要作用。儘管實驗結果令人鼓舞，但關於推理原型的具體性質仍需進一步理論探討。未來的研究將致力於通過數學形式化這些概念，並利用開源模型和數據集進行驗證。

論文:https://arxiv.org/abs/2506.15211

劃重點:

🌟 ProtoReasoning 框架利用 Prolog 和 PDDL 提升大語言模型的邏輯推理能力。  

🧠 通過結構化原型表示，模型在邏輯推理、規劃和一般問題解決任務上顯著提升。  

🔍 未來研究將探討推理原型的理論基礎，並驗證實驗結果的有效性。