OpenAIが提供するGPT-4oの高度なボイスモードは最近、大きなアップデートを迎えました。より自然な音声インタラクションが可能になり、さらに注目に値するのは「歌う」機能の追加です。現在のところ、歌のパフォーマンスはまだ未熟ですが、この進展はAIのマルチモーダルなインタラクション能力に新たな可能性をもたらしました。AIbaseは最新情報を総合し、GPT-4oのボイスモードに関する最新の進捗とその潜在力を解説します。

image.png

歌う機能が登場:AIも「歌える」ようになる

最新情報によると、GPT-4oの高度なボイスモードはすでに歌う機能をサポートしています。ユーザーは音声コマンドを使ってAIに楽曲を歌わせることができ、一部の著作権保護された楽曲も含まれます。この機能により、GPT-4oはユーザーのリクエストに基づいてメロディや歌詞を生成したり、特定のスタイルで歌唱を模倣したりすることが可能です。これによりインタラクション体験に楽しさが加わります。現段階では「歌う技術」はさらに改良が必要ですが、AIbaseではこの機能の追加がGPT-4oのオーディオ生成分野での新しい試みであることを指摘しています。

マルチモーダルなインタラクションがさらに進化:より自然で感情豊かに

GPT-4oの高度なボイスモードはエンドツーエンドの音声処理能力を持つことで知られています。従来のボイスモード（音声をテキストに変換してから音声を生成するもの）とは異なり、新しいモードでは音声入力を直接処理することで応答遅延を大幅に削減し、平均応答時間はわずか320ミリ秒となっています。さらに、GPT-4oはユーザーの話す速度やトーンなど非言語的な手がかりを捉え、感情豊かな音声で返答します。また、ユーザーがいつでも対話を途中で中断できるように設計されており、人間同士の会話に近い自然な体験を提供します。

特長機能:笑いや泣き声も自在

歌う以外にも、GPT-4oの高度なボイスモードは笑いや泣き声などの感情表現を生成することができます。これにより、インタラクションシナリオがさらに豊かになります。例えば、ユーザーはAIにドラマチック、ユーモラス、または特定のキャラクターのトーンで返答させることが可能です。アニメキャラクターや有名人の声を模倣することもできます。このような柔軟性により、エンターテインメント、教育、クリエイティブコンテンツ生成分野で大きな可能性を秘めています。

現時点での制限:歌うスキルはまだ磨きが必要

歌う機能が追加されたものの、GPT-4oの歌唱パフォーマンスは専門家レベルには達していません。テストでは複雑なメロディや高音域の処理時に滑らかさに欠ける場合があることが確認されました。また、一部のユーザーからは他のAI音声モデル（Pi AIやSiriなど）と比較して音質が劣っているとのフィードバックもあり、サンプリングレートが低いことから音質が若干圧縮されているとの指摘もあります。OpenAIは、この歌う機能を追加した目的として音声生成の境界を探るための挑戦であると述べており、将来は継続的な最適化を通じてパフォーマンスを向上させることを目指しています。

安全性と著作権に関する考慮:制限付きの革新

著作権を尊重するために、OpenAIはGPT-4oの音声出力に厳格なフィルタリング機構を導入し、著作権保護された音楽コンテンツの生成を制限しています。しかし、最近の情報では、一部のユーザーが著作権保護された楽曲を歌わせた事例があり、著作権の境界に関する議論が巻き起こっています。さらに、GPT-4oは自動歌唱評価や音声合成のような特定のオーディオタスクにおいて高い拒否率が見られることがあります。これは無許可のコンテンツ生成を避けるためや、客観的な基準がないためと考えられます。

音声AIの新しい章

GPT-4oの高度なボイスモードのアップデート、特に歌う機能の追加は、OpenAIがマルチモーダルAI領域で持続的な進化を遂げていることを示しています。現段階での歌唱のパフォーマンスは改善の余地がありますが、応答の遅延の少なさや自然なインタラクション、感情表現能力は従来の音声アシスタント（SiriやAlexaなど）を大きく上回っています。AIbaseは、OpenAIが音質や著作権処理の仕組みをさらに最適化することで、GPT-4oが教育、エンターテインメント、カスタマーサービスの分野で新たな応用ブームを引き起こす可能性が高いと予測しています。

結論

GPT-4oの高度なボイスモードにおける歌う機能は、AIのインタラクションに多くの楽しさと可能性をもたらしました。技術的な改善が必要ではありますが、その革新の意義は小さくありません。応答の遅延の短さや感情豊かな表現を通じて、GPT-4oは人間と機械のインタラクションの境界を再定義しようとしています。