站長之家(ChinaZ.com) 6月18日 消息: 音声生成技術に特化した企業ElevenLabsが、動画生成分野への進出を発表しました。アップロードされた動画に自動的に吹き替えを行い、適切な効果音も生成するプロジェクトをオープンソースとして公開しました。

このプロジェクトは、同社のテキストから効果音生成ツールをベースに開発されており、GoogleのV2Aの簡略版と言えるでしょう。現在、ユーザーはこのツールを利用できます。

6月初旬には、テキストを入力することで様々なリアルな音楽効果音を生成できる新機能を発表しました。映画、ゲーム、ショートビデオなどの業界にとって、これは大きな助けとなるでしょう。ユーザーは時間をかけて適切な効果音を探す必要がなくなり、多くの効果音はShutterstockの商用ライセンスも取得しています。

効果音生成機能に加え、ElevenLabsは音声クローンやテキスト読み上げなどの強力な機能も提供しています。ユーザーは音声ファイルアップロードして特徴を抽出し、新しいテキストコンテンツの生成に使用したり、長文テキストを感情豊かな音声に変換して、コンテンツにより生き生きとした表現を与えることができます。日本語のサポートは現状では不十分ですが、英語コンテンツの生成には非常に優れた効果を発揮します。

テキスト音声変換入口：https://top.aibase.com/tool/elevenlabs-wenbenzhuanyinxiaoapi

動画自動吹き替え入口：https://top.aibase.com/tool/elevenlabs-texts-to-sounds-effects-api