本日、アリババクラウドの百炼（BaiLian）はオープンな世界モデル製品「HappyOyster1.0（ハッピーオイスター1.0）」を正式にリリースしました。このモデルは、リアルタイムで構築・探索し、インタラクティブに生成するAIデジタル世界をサポートしており、現在Android、iOSおよびWeb用の3端末SDKが公開され、アリババクラウドの百炼でグレーテストが開始されています。

説明によると、HappyOyster1.0は従来のテキストからビデオを生成するモデルとは異なり、そのコアなトレーニング目標は「現在の状態/行動」から「次の状態/行動」への世界状態の変移を学ぶことです。このモデルは膨大な自然ビデオを分析し、人物、物体、環境の進化プロセスを学び、行動によって生じるフィードバック関係を推論し、デジタル世界における人物、シーン、音声および映像コンテンツの長期的な一貫性を維持します。

このモデルには「世界探索（Adventure）」と「リアルタイム演出（Directing）」の2つのモードが提供されています。「世界探索」モードでは、ユーザーがテキストを入力したり、画像をアップロードしたりすることで、インタラクティブなデジタル世界を生成できます。また、移動、ジャンプ、攻撃、車両の運転などの操作でシーンの進行を変更でき、最大1分間の連続したリアルタイム移動とカメラ制御をサポートし、生成された内容を元の映像としてエクスポート可能です。

「リアルタイム演出」モードでは、ユーザーがストーリーの任意のポイントで一時停止や巻き戻しが可能であり、新しいヒントでストーリーの方向性を調整できます。このモードでは480pまたは720pの3分以上のリアルタイム映像を生成でき、ビデオのエクスポートもサポートされます。

アリババクラウドは、HappyOyster1.0が次世代のマルチモーダルなインタラクティブなコンテンツの形態を探索していると述べています。これは、オープンワールドゲームのプロトタイプ、インタラクティブなショートドラマ、バーチャルサポート、没入型文旅体験などの場面で応用可能です。開発者はOpen APIを使って世界の状態を管理し、クライアントSDKを使ってリアルタイム通信、ビデオレンダリング、インタラクション制御を行い、迅速に遊べるAI世界アプリケーションを構築できます。