字節跳動Seed團隊宣佈推出實驗性擴散語言模型Seed Diffusion Preview，標誌着在語言模型領域的一次重大技術突破。該模型旨在通過結構化的代碼生成實驗，驗證離散擴散技術路線作爲下一代語言模型基礎框架的可行性。Seed Diffusion Preview在推理速度上取得了顯著提升，達到每秒2146個tokens，相比同等規模的自迴歸模型提升了5.4倍，同時在多個代碼生成基準測試中表現出與自迴歸模型相當的性能。

Seed Diffusion Preview的發佈，旨在解決自迴歸（AR）模型在推理速度和全局控制方面的侷限性。擴散模型通過從粗到精的生成範式，在圖像和視頻合成等連續數據領域取得了顯著成功。然而，將擴散模型應用於自然語言等離散領域面臨根本性挑戰，主要在於標準擴散過程與離散狀態空間的不兼容性。儘管如此，離散擴散模型在可擴展性和效果上已展現出巨大潛力。

微信截圖_20250801103209.png

爲應對這些挑戰，Seed Diffusion Preview採用了四項關鍵技術創新:兩階段課程學習、約束順序擴散、同策略學習以及塊級並行擴散採樣方案。兩階段課程學習策略包括基於掩碼的擴散訓練和基於編輯的擴散訓練，旨在提升模型的局部上下文補全能力和全局代碼合理性評估能力。約束順序擴散通過引入代碼的結構化先驗，引導模型掌握正確的依賴關係。同策略學習通過優化生成步數，提升模型的推理速度。塊級並行擴散採樣方案則在保持因果順序的同時，實現了高效的塊級推理。

實驗結果顯示，Seed Diffusion Preview在代碼推理速度上達到了2146tokens/s，相比同等規模的自迴歸模型提升了5.4倍。這一速度提升並未以犧牲質量爲代價，模型在多個業界基準上的性能與優秀的自迴歸模型相當，並在代碼編輯等任務上實現了超越。這一成果不僅證明了離散擴散模型在推理加速方面的潛力，還展示了其在複雜推理任務中的應用前景。

項目頁面:https://seed.bytedance.com/seed_diffusion

體驗鏈接:https://studio.seed.ai/exp/seed_diffusion