在多模態大模型快速迭代的今天，音頻處理能力往往容易被“犧牲”——很多模型在增強音頻理解的同時，卻導致了文本邏輯能力的下降。近日，NVIDIA 研究團隊正式發佈了一款名爲 Nemotron-Labs-Audex-30B-A3B（簡稱 Audex）的統一音頻-文本大語言模型，試圖破解這一技術難題。

image.png

Audex 的設計理念非常簡潔高效。它基於強大的純文本 MoE（混合專家模型）架構構建，採用單一的 Transformer 解碼器，實現了文本與量化音頻 token 的統一處理。這種架構不僅讓音頻輸入能夠平滑地投影到文本嵌入空間，還確保了模型在處理多模態任務時，能夠與現有的 LLM 基礎設施無縫兼容，從而實現真正意義上的深度融合。

爲了訓練這個強大的模型，研究團隊整理了海量數據，涵蓋了1574億音頻 token 和3205億文本 token。通過多階段的監督訓練、純文本 Cascade RL（強化學習）以及多域在策略知識蒸餾，Audex 在各項指標上均表現出色。它不僅在音頻理解、語音識別、翻譯、以及音頻生成等任務中達到了行業領先水平，更難能可貴的是，它幾乎完美保留了原版 LLM 在推理、對齊、知識儲備及長文本處理方面的核心能力，性能衰退微乎其微。

作爲一款開源模型，Audex 的發佈對語音技術行業而言無疑是一個積極信號。它不再是一個僅僅停留在論文演示階段的研究 Demo，而是爲開發者提供了一個可直接評估、部署的成熟工具。對於需要處理複雜音頻交互的產品開發者來說，Audex 提供了一種平衡性能與功能的新選擇，也爲未來的多模態智能體研究打開了新的大門。