Googleが発表した最新の音声生成技術は、業界標準を塗り替えました。この画期的な技術は、わずか3秒で2分間の自然な会話を生成できるだけでなく、複数話者間の音声のつながりと音質も確保します。この技術は、Gemini Live、Project Astraなど複数のGoogle製品に既に導入されており、世界中で人々のデジタルアシスタントやAIツールとのインタラクションを変えつつあります。

image.png

ここ数年、Googleは音声生成分野の研究に注力してきました。開発されたモデルは、テキスト、リズム制御、特定の音声など、様々な入力方法で高品質で自然な音声を生成できます。最近、Googleは社内の複数のチームと協力して、2つの重要な機能を発表しました。NotebookLMオーディオ概要では、アップロードしたドキュメントを生き生きとした会話形式に変換できます。Illuminateは、研究論文に関する公式なAIディスカッションを生成し、専門知識をより理解しやすくします。

これらのブレークスルーは、Googleの以前の多くの研究成果に基づいています。SoundStreamニューラルオーディオコーデックから、AudioLMオーディオ言語モデリングフレームワーク、そして30秒間の複数人会話生成が可能なSoundStormに至るまで、Googleは音声生成分野で継続的にイノベーションを起こしてきました。最新の技術的進歩では、より効率的な音声コーデックを使用することで、毎秒600ビットという低ビットレートでオーディオを圧縮しながら、出力品質を維持しています。

この技術的ブレークスルーを実現するために、Googleは情報を効率的に処理できる専用のTransformerアーキテクチャを開発しました。モデルはまず数十万時間の音声データで事前トレーニングされ、その後、現実の会話のニュアンスや間の取り方などの自然な特徴を含む高品質な会話データセットで微調整されます。技術の責任ある使用を確保するために、GoogleはSynthID技術を統合し、AI生成オーディオコンテンツに透かしを付加しています。

将来展望として、Googleはモデルの滑らかさ、音質の向上、より詳細な制御機能の追加に取り組んでいます。Geminiシリーズのモデルと組み合わせることで、この技術は教育体験の向上とコンテンツのアクセシビリティ向上に重要な役割を果たし、音声技術の可能性を広げると期待されています。

この技術の重要性は、その性能の向上だけでなく、人とのインタラクションに新たな章を開いたことにもあります。複雑な技術革新を自然で直感的なインタラクションに変換することで、Googleは次世代のデジタル体験の基盤を築いています。

詳細：https://deepmind.google/discover/blog/pushing-the-frontiers-of-audio-generation/