マルチモーダル大規模モデルが急速に進化する今日、音声処理能力はしばしば「犠牲にされる」——多くのモデルでは音声理解を強化する一方で、テキスト論理能力が低下してしまう。最近、NVIDIAの研究チームは、Nemotron-Labs-Audex-30B-A3B（通称：Audex）という統一された音声・テキストの大規模言語モデルを正式に公開した。このモデルは、この技術的課題を解決しようと試みている。

Audexのデザインコンセプトは非常にシンプルで効率的である。これは、強力な純テキストMoE（Mix-of-Expertsモデル）アーキテクチャに基づいて構築されており、単一のTransformerデコーダーを使用して、テキストと量子化された音声トークンを統合的に処理している。このようなアーキテクチャにより、音声入力がテキスト埋め込み空間にスムーズに射影され、マルチモーダルタスクを処理する際、既存のLLMインフラストラクチャとシームレスに互換性があり、本質的な統合を実現している。

この強力なモデルを訓練するために、研究チームは膨大なデータを整理し、1574億の音声トークンと3205億のテキストトークンを含む。多段階の監督学習、純テキストのCascade RL（強化学習）、そして多領域におけるポリシー知識蒸留を通じて、Audexはさまざまな指標において優れた性能を示している。このモデルは音声理解、音声認識、翻訳、音声生成などのタスクにおいて業界をリードしており、特に注目すべきは、元のLLMの推論、整合性、知識蓄積および長文処理の核心的能力をほぼ完璧に保持しており、パフォーマンスの低下は極めてわずかである。

オープンソースモデルとしてのAudexの公開は、音声技術業界にとって明るい信号である。これは、論文でのデモステージにとどまっている研究用デモではなく、開発者に対して直接評価や展開ができる完成度の高いツールを提供するものである。複雑な音声インタラクションを処理する製品開発者にとって、Audexはパフォーマンスと機能のバランスを取った新たな選択肢を提供し、今後のマルチモーダルエージェントの研究に新しい道を開くことになるだろう。