最近、アリババのATHイノベーション事業部が開発した次世代マルチモーダル動画生成モデル「HappyHorse」が、グレースケールテストを開始しました。このモデルは、世界的なAI動画分野での有力な競合企業として、Arena.aiのテキストから動画生成、画像から動画生成、および動画編集の3つの主要ランキングで優れた実力を示しています。

映画級の画質と深い意味理解

HappyHorseは「映画級」という視覚表現を特徴としており、1080Pの超高解像度出力に対応しています。さまざまなビジュアルスタイルを正確に扱うことができ、例えば時代感のある香港風の雰囲気、壮大な古装ドラマの雰囲気、または新しい中国式アニメの効果など、細かい光と自然なカメラワークにより再現します。

image.png

技術的な面では、このモデルは非常に強力な意味解析能力を持ち、800語以上の複雑な指示を処理でき、同時に9枚の参考画像を入力することも可能です。これにより、キャラクターのイメージ、シーンの構成、小物の詳細が安定して保たれます。据えているところによると、高品質なストーリー動画を15秒間作成するには、わずか2〜5分しかかかりません。

音声と映像の同期を実現する「ワンクリックで完成」

視覚的な突破に加えて、HappyHorseは多言語対応と音声・映像の相互作用においても優れています。広東語、英語、フランス語などの多くの言語で創作が可能で、キャラクターの口元、表情、体の動きが高精度に一致します。また、モデルは画面内容に基づいて自動的に環境効果音や背景音楽を生成し、音声と映像の同期を実現する自動化されたクリエイティブフローを提供します。

中国オンラインの「次元神筆（シーデンシェンビ）」が接続され、AIツールボックスが拡充

モデルのテスト開始と同時に、国内デジタルコンテンツのリーディング企業である「中国オンライン」は、自社の全スタックAIコンテンツ制作ソリューション「次元神筆（シーデンシェンビ）」がHappyHorseモデルに正式に接続されたことを発表しました。

これまで、「次元神筆（シーデンシェンビ）」は、Seedance2.0を含む多数の業界トップモデルを統合していました。HappyHorseの導入により、中国オンラインはテキスト、画像、動画をカバーする幅広いクリエイティブエコシステムをさらに構築しました。この取り組みは、クリエイターに多様なツールの選択肢を提供し、高品質なコンテンツの作成のハードルを下げ、優れたIPが多様な形態に迅速に転換できるようにすることを目的としています。