先日、ジョンズ・ホプキンス大学とテンセントAI研究所が共同で、EzAudioという新しいテキスト音声変換モデルを発表しました。この技術は、前例のない効率性と高品質でテキストを音声に変換でき、人工知能と音声技術の大きな飛躍を意味します。

image.png

EzAudioは、従来のスペクトログラムではなく、音声波形の潜在空間を利用することで動作します。この革新的なアプローチにより、高時間分解能での処理が可能になり、追加のニューラルボコーダーが不要になります。

EzAudioのアーキテクチャはEzAudio-DiT（拡散トランスフォーマー）と呼ばれ、性能と効率性を向上させるための多くの技術革新を採用しています。これには、新しい適応層正規化技術であるAdaLN-SOLA、ロングジャンプ接続、RoPE（回転位置埋め込み）などの高度な位置エンコーディング技術が含まれます。

研究者によると、EzAudioで生成された音声サンプルは非常にリアルで、客観的および主観的評価において既存のオープンソースモデルを上回っています。

現在、AI音声生成市場は急速に成長しています。ElevenLabsなどの有名企業が最近、テキスト音声変換用のiOSアプリをリリースし、消費者のAI音声ツールへの強い関心を示しています。同時に、マイクロソフトやグーグルなどのテクノロジー大手も、AI音声シミュレーション技術への投資を継続的に増やしています。

ガートナーの予測によると、2027年までに生成AIソリューションの40％がマルチモーダルになり、テキスト、画像、音声の機能を組み合わせるため、EzAudioのような高品質の音声生成モデルは、進化を続けるAI分野で重要な役割を果たす可能性があります。

EzAudioチームは、コード、データセット、モデルチェックポイントを公開し、透明性を強調し、この分野のさらなる研究を奨励しています。

研究者らは、EzAudioの応用はサウンドエフェクト生成を超え、音声や音楽制作などの分野にも及ぶ可能性があると考えています。技術の進歩に伴い、エンターテインメント、メディア、支援サービス、仮想アシスタントなどの業界で広く利用されることが期待されています。

デモ:https://huggingface.co/spaces/OpenSound/EzAudio

プロジェクトページ:https://github.com/haidog-yaqub/EzAudio?tab=readme-ov-file

要点:

🌟 EzAudioは、ジョンズ・ホプキンス大学とテンセントが共同で開発した新しいテキスト音声変換モデルであり、音声技術の大きな進歩を示しています。

🎧 このモデルは、革新的なアーキテクチャと技術により、既存のオープンソースモデルを上回る品質の音声サンプルを生成し、幅広い応用可能性を秘めています。

⚖️ 技術の発展に伴い、倫理と責任ある使用の問題が徐々に浮き彫りになっています。EzAudioの公開研究コードは、将来のリスクとベネフィットを幅広く検証する機会を提供します。