相關推薦
OpenDiLoCo:分佈式AI訓練的開源解決方案,低通信成本,全球覆蓋!
LMDs作爲 AI 應用的核心,其高效訓練成爲推動技術發展關鍵。然而,大規模模型訓練需龐大算力,限制了其應用範圍。爲解決計算資源限制問題,OpenDiLoCo作爲全球分佈式訓練創新框架應運而生,基於DiLoCo(分佈式低通信)訓練方法。其採用去中心化結構,優化通信需求,顯著提升訓練效率與全球可擴展性。OpenDiLoCo具有動態資源分配、容錯能力及點對點通信等特性,實現在不犧牲多數計算利用率(90%-95%)的情況下,實現模型高效跨洲、跨國培訓。該框架通過引領者/追隨者架構和容錯培訓方法,增強分佈式訓練魯棒性,同時在十億參數模型中證明了其算法優勢和高效計算策略。通過消融實驗,Prime Intellect 證明了 DiLoCo 在降低通信需求至初始的500倍下仍能保持基線性能。同時,成功在C4數據集和包含1B參數模型部署中展示了其方法的全球訓練能力,其結果超過了原先DeepMind研究針對最多4億參數模型規模的實驗規模上限到1億參數級。將實驗拓展到北美、歐洲的多國家進行測試,證明了OpenDiLoCo開放源碼庫的潛在巨大影響力。Prime Intellect對於OpenDiLoCo框架的應用,是AI分佈式與去中心化訓練領域的一次領先嚐試,未來將探索更大規模模型與更高效率優化。
貝佐斯、軟銀領投!Skild AI獲3億美元融資,目標打造“機器人大腦”
Skild AI,源自卡內基梅隆大學的AI初創企業,已成功籌集3億美元,旨在研發適應廣泛機器與設備的通用AI系統,即所謂的“機器人大腦”。此輪融資由Jeff Bezos、軟銀等機構領投,公司估值逾15億美元。主要目標是打造一個能高效執行多種任務的AI系統,提升機器人自主學習與智能化水平,爲各行各業帶來創新解決方案。強大的投資者陣容反映了市場對Skild AI未來高度期待。創始人表示,此技術發展有助於提升國家競爭力,有可能引領新一輪科技革命,促進人類與機器人協作,併爲智能社會的基礎構建提供支持。
谷歌 Eureka AI模型提前曝光 卓越的文本寫作能力引關注
谷歌即將發佈革命性AI模型Eureka,此消息在AI界激起波瀾。Eureka在比對平臺LMSYS Arena上展現出卓越的文本寫作能力,生成的自然語言“無縫”且高度貼近人類風格,同時精確遵循指令,實現多種任務表現優越。其主要特性包括增強的自然語言生成,出色的指令遵從能力和廣泛的AI驅動任務表現提升。此消息與前谷歌員工Logan Kilpatrick的“Eureka時刻”相呼應,預示可能引領AI領域的新突破。預計在7月15日和18日,Eureka將有初步公告或預覽,以及正式發佈或詳細展示。同時,谷歌在研發另一工具Google Gemini,其具體信息暫未公開,但均引發業界極大關注。
放大招!谷歌Gemini即將發佈五個新功能: Imagen3、定製GPT等
近期,谷歌在Google I/O大會上宣佈了一系列新功能和產品,儘管主要產品尚未發佈,但已透露出一些開發動態: 1. 7月將發佈五款名爲Gemini的產品,可能包括:新版Imagen3、Gemini定製GPT、個性化迴應、預定提示、錄音功能和Google Photos集成等。 2. Imagen3預計將開放給AI Labs的alpha測試人員並可能向Gemini Advanced用戶提供。 3. Gemini的定製GPT(GEM)已經開發完成,允許用戶在GEMs Manager選項卡中查看、編輯和複製。 4. 個性化迴應功能允許用戶安排提示,例如,早上接收個性化新聞摘要。 5. 預設提示功能,類似於ChatGPT的記憶功能,已準備就緒。 6. 錄音功能和與Google Photos的集成正在進行測試。 7. 正在對實時響應進行優化,未來可能會提供更精細的自定義功能選項。 8. Gemini正積極準備iOS版本的Beta測試,暗示即將發佈iOS版本。 概括來說,谷歌Gemini產品正在積極開發中,重點在豐富的人工智能交互與集成功能,以及多平臺支持,旨在提升用戶體驗,開拓個性化智能對話的新階段。
微軟MIT開創推理新紀元:6700萬參數模型,與GPT-4一較高下
本文討論了一項由微軟與麻省理工學院等機構研究人員合作開發的突破性機器學習訓練策略,主要焦點在於解決大型機器學習模型在邏輯推理方面的侷限性。該策略通過獨特且創新的訓練方法,顯著提升了模型的邏輯推理能力,能夠構建因果關係並從數據中學習。研究人員還傳授了基礎的邏輯和數學公理,使模型能夠理解因果邏輯。儘管模型規模適中(僅6700萬參數),但其推理能力卻能媲美更大更復雜(如GPT-4)的模型。這項研究的創新在於,通過“公理訓練”方式教會AI識別與應用因果規則,提升其學習因果關係的能力。該技術不僅讓AI能夠從數據中學習理解世界,還爲其在更廣泛的圖結構中應用因果推理打下基礎。這一發現爲AI的發展開闢了新路徑,尤其是在理解和解釋複雜現實世界的因果關係方面。通過這個研究,我們展望未來AI不僅能夠從數據中學習,還能夠像人類一樣,理解和解讀“因爲...所以...”的邏輯關係,極大地提升了AI的智能水平和應用潛力。
