AIによってコンテンツ制作が強化される分野において、火山エンジンは最近、重い成績を示しました。6月23日、ドウバオ音声生成モデル1.0が正式リリースされ、『マルチモーダルな参照生成』と『長時間の音声一貫性』という2つの主要技術により、従来の音声制作における煩雑な後処理ワークフローを完全に打ち破りました。

過去では、完成度の高い音声を作成するには、作曲家、効果音、BGMをそれぞれ生成し、複雑な手動の同期とミキシングを行う必要がありました。これは後工程のスキルを非常に要求していました。しかし、ドウバオ音声生成モデル1.0による変革は、このプロセスを高度に集約したものです。ユーザーは、キャラクターの台詞や感情、背景音楽、環境雰囲気を含む1つのプロンプトを入力するだけで、物語の緊張感を備えた完全な音声作品を直接生成できます。

image.png

長時間の音声制作でよくある「キャラクターの混同」の問題に対して、このモデルはテキストから音声、および参照音声との深い連携を実現しました。長編のオーディオブックや複雑なパーソナラジオの制作においても、モデルは複数の音声拡張において、キャラクターの声の特徴を安定して保持します。このような一度に一貫した音声を提供できる能力は、専門的なクリエイターにとって長期間生成の場面での厳しい要件を大幅に満たしています。

さらに、このモデルは強力な「ゼロサンプルのマルチモーダル音声創造」機能を持っています。テキストの説明または参照音声の入力をサポートすることで、クリエイターは追加のトレーニングなしに高品質なターゲット音声を得ることができます。モデルは音声とスタイルの制御を深く分離し、「一つの声で複数の役割」の表現を可能にし、同じ声が異なる感情やシーンで非常に高い表現力を発揮することを可能にし、専門的な音声制作のハードルを顕著に下げました。