​Nvidia 推出小型開放模型 Nemotron-Nano-9B-v2：可切換的推理功能

近日，Nvidia 正式發佈了一款新型小型語言模型 Nemotron-Nano-9B-v2，標誌着小型模型的熱潮再度升溫。

該模型具備9億個參數，雖然相較於其他數百萬參數的小型模型而言規模更大，但較原始的12億參數已大幅縮減，旨在能夠在一臺 Nvidia A10GPU 上高效運行。Nvidia 的 AI 模型後訓練總監 Oleksii Kuchiaev 在社交平臺上表示，減少參數的目的在於更好地適應部署需求，並且該模型採用了混合架構，可以在處理較大批量時比類似尺寸的變換模型快6倍。

Nemotron-Nano-9B-v2支持多種語言，包括英語、德語、西班牙語、法語、意大利語、日語等，適用於指令跟隨和代碼生成等任務。該模型的設計還包括一項創新功能 —— 用戶可以通過簡單的控制令牌來切換 AI 的 “推理” 過程，即在給出答案之前進行自我檢查。系統默認會生成推理痕跡，但用戶可通過如 /think 或 /no_think 等命令來控制此過程。此外，模型還引入了 “思考預算” 管理機制，允許開發者設定推理過程中所使用的標記數量，以在準確性與響應速度之間取得平衡。

根據測試結果，Nemotron-Nano-9B-v2在多個基準測試中表現優異。在 “推理開啓” 模式下，該模型在 AIME25、MATH500、GPQA 和 LiveCodeBench 等測試中都取得了令人滿意的成績。此外，它在指令跟隨和長上下文基準測試中同樣表現出色，顯示出相較於其他開放小型模型更高的準確性。

Nvidia 爲這一模型設定了開放許可協議，允許開發者在商業上自由使用與分發，並明確不對生成的輸出聲索所有權。這意味着企業可以在無需額外協商的情況下立即將該模型投入生產，而不必擔心使用門檻或費用。

Nvidia 的 Nemotron-Nano-9B-v2模型爲需要在小規模上實現推理能力與高效部署的開發者提供了新工具。其運行預算控制和推理切換功能爲系統構建者提供了靈活性，旨在提高準確性和響應速度，進一步推動小型語言模型的發展。

劃重點:

🌟 Nemotron-Nano-9B-v2是 Nvidia 新推出的小型語言模型，具有9億個參數，專爲高效部署設計。  

🧠 模型支持多種語言，具備切換推理功能，可幫助用戶根據需求調整響應方式。  

📈 開放許可協議使開發者能夠自由使用與分發模型，無需擔心額外費用或許可協議。