在快速發展的生成式 AI 領域，Nous Research 團隊正在進行一項獨特的實驗:他們正在利用分佈在全球的機器，預訓練一款15億參數的大型語言模型（LLM），這一過程避免了傳統上需要在昂貴且耗電的數據中心或超級集羣中進行的集中式開發。

image.png

Nous Research 還在其專門網站 distro.nousresearch.com 上直播這一預訓練過程，實時展示模型在各類評估基準上的表現，並提供參與訓練的硬件位置地圖，涵蓋美國和歐洲的多個地點。截至本文發佈時，預訓練的剩餘時間約爲57小時（即2.3天），而已完成的訓練進度超過75%。

預訓練是訓練 LLM 的第一步，也是最基礎的步驟，它涉及對大量文本數據的訓練，以學習語言的統計特性和結構。在這一階段，模型通過處理廣泛的文本數據集，捕捉語言的模式、語法和詞彙間的上下文關係。這一過程使模型具備了對語言的廣泛理解，能夠生成連貫的文本並執行多種語言相關任務。在預訓練之後，模型還需進行鍼對特定任務或領域的微調。

如果這一計劃成功，Nous Research 將證明在沒有昂貴超級集羣或低延遲傳輸的情況下，依然可以訓練出前沿級別的 LLM，標誌着分佈式 AI 訓練的新紀元。這種開放源代碼的訓練方法可能會改變生成式 AI 的力量格局，使小型團隊和非企業行爲者在這一領域具備更多競爭力。

Nous 使用的這一新技術名爲 Nous DisTrO（Distributed Training Over-the-Internet），旨在減少預訓練過程中 GPU 間的通信帶寬需求。根據 Nous Research 的最新發佈，DisTrO 能夠將通信需求降低多達10，000倍，使得在較慢且經濟實惠的互聯網連接條件下，依然能保持競爭力的收斂率和損失曲線。

此外，DisTrO 的核心突破在於有效壓縮 GPU 間交換的數據量，而不影響模型的性能。這一技術建立在早期的去耦動量優化算法（DeMo）基礎之上，後者同樣旨在大幅減少 GPU 間的通信需求，同時保持訓練性能。

硬件方面，Nous Research 的預訓練過程得到了 Oracle、Lambda Labs、Northern Data Group、Crusoe Cloud 和 Andromeda Cluster 等多家知名合作伙伴的支持，共同提供所需的異構硬件，充分測試 DisTrO 在實際分佈式環境下的能力。

博客入口:https://nousresearch.com/

劃重點:

🌐 Nous Research 正在進行全球分佈式 AI 訓練，旨在預訓練一款15億參數的大型語言模型。  

💻 使用 Nous DisTrO 技術，該過程顯著降低了 GPU 間的通信帶寬需求，使得低成本訓練成爲可能。  

🤝 該項目得到了多家硬件供應商的支持，推動了分佈式 AI 研究的進展。