英偉達開源新突破：新模型訓練算力節省1.8倍！

全球人工智能的領軍企業英偉達（Nvidia）最近開源了兩款新型大模型:Nemotron-4-Minitron-4B和Nemotron-4-Minitron-8B。這兩個模型的開源，不僅是技術上的一次飛躍，更在AI領域掀起了一場效率革命。

傳統的AI大模型訓練需要消耗大量的數據和算力。然而，英偉達通過採用結構化剪枝和知識蒸餾兩種高效的訓練方法，顯著降低了這一需求。具體來說，與從零開始訓練相比，新模型所需的訓練token數據減少了40倍，算力成本節省了1.8倍。這一成就的背後，是英偉達對現有模型Llama-3.18B的深度優化。

結構化剪枝是一種神經網絡壓縮技術，它通過去除不重要的權重來簡化模型結構。不同於隨機剪枝，結構化剪枝保留了權重矩陣的結構，通過移除整個神經元或注意力頭，使得剪枝後的模型更適合在GPU、TPU等硬件上高效運行。

知識蒸餾是一種通過讓學生模型模仿教師模型來提升性能的方法。在英偉達的實踐中，通過基於logit的知識蒸餾，學生模型能夠學習到教師模型的深層理解，即使在大幅減少訓練數據的情況下，也能保持出色的性能。

經過結構化剪枝和知識蒸餾訓練的Minitron-4B和Minitron-8B模型，在MMLU上的評分提升了16%，性能可與Mistral7B、Gemma7B和Llama-38B等知名模型媲美。這一成果證明了英偉達方法的有效性，同時也爲AI大模型的訓練和部署提供了新的可能性。

英偉達的這一開源舉措，不僅展示了其在AI技術上的領導地位，也爲AI社區帶來了寶貴的資源。隨着AI技術的不斷進步，我們期待看到更多創新的方法，推動AI向更高效、更智能的方向發展。

模型地址：

https://huggingface.co/nvidia/Nemotron-4-Minitron-4B-Base

https://huggingface.co/nvidia/Nemotron-4-Minitron-8B-Base