面壁智能近日聯合清華大學、OpenBMB開源社區,正式發佈並開源了在低比特大模型訓練方向的最新突破成果——BitCPM-CANN。該成果在華爲昇騰平臺上原生完成,標誌着端側AI大模型在輕量化與工程落地方面邁出了關鍵一步。

釋放六倍顯存紅利打破硬件限制
本次開源的BitCPM-CANN包含0.5B、1B、3B、8B四個模型尺寸,與同尺寸全精度家族模型進行逐項對照評測,表現十分優異。相比傳統BF16 精度,該模型在推理階段能夠釋放約 6 倍的顯存紅利,讓大模型運行的硬件門檻大幅降低。
對於手機產業而言, 6 倍的顯存紅利意味着原本對配置要求極高的8B參數級別大模型,如今也可以輕鬆流暢地運行在主流旗艦手機之上。這種對內存空間的極致釋放,將直接加速端側AI技術在移動設備上的普及與商用落地。
高能力保留率證實工程可復現性
在精簡模型體積的同時,BitCPM-CANN依然保持了極高的性能水準,其模型能力保留率成功維持在90%至97.2%之間。其中,三個主要尺寸模型的能力保留率均達到了95.7%—97.2%,即使是體積最小的0.5B模型,其保留率也超過了90%。
這一亮眼的評測結果,系統性地證明了低比特訓練技術路線具備極強的可擴展性與工程可復現性。面壁智能基於相關主幹搭建了完整的低比特訓練底座,涵蓋環境適配、32K長序列支持及融合算子等完整工程體系,爲後續面向昇騰的低比特訓練工作築牢了公共基礎設施。
