2月18日、昆侖万維は、中国初のAI短編ドラマ制作向け動画生成モデル「SkyReels-V1」と、中国初のSOTAレベルの動画基盤モデルに基づく表情・動作制御アルゴリズム「SkyReels-A1」のオープンソース化を発表しました。この取り組みは、現在のAI動画生成モデルがオープンソース化されていない、費用が高い、使いにくいといった問題を解決し、AI短編ドラマ業界の革新と発展を促進することを目的としています。

SkyReels-V1は、中国初のAI短編ドラマ制作向けオープンソース動画生成モデルです。このモデルは、口パク生成、表情生成、肢体生成などの複数の生成モジュールを組み合わせることで、人物の演技の詳細な制御を実現しています。SkyReels-V1は、数千万件の高品質ハリウッドデータを活用してトレーニングと微調整が行われ、表情生成と肢体生成の制御可能な演技効果が大幅に向上しています。

SkyReels-V1は、33種類の繊細な人物表情と400種類以上の自然な動作の組み合わせをサポートし、人間の感情表現を高度に再現できます。生成された動画は、映画レベルの光と影の美学と画質を備え、映画レベルの人物微表情演技生成を実現できます。さらに、SkyReels-V1は、テキストから動画を生成するだけでなく、画像から動画を生成することもサポートしており、オープンソースの動画生成モデルの中で、画像から動画を生成できるモデルとしては最大のパラメータ数を誇ります。

技術的な実現においては、SkyReels-V1は昆侖万維が独自開発した高品質データクレンジングと人工アノテーションパイプラインを活用し、数千万件の高品質映画、テレビドラマ、ドキュメンタリーデータセットを構築しました。また、チームは「Human-Centric」な動画理解マルチモーダル大規模モデルを独自開発し、動画内の人物に関する理解能力を向上させています。

SkyReels-A1は、SOTAレベルの動画基盤モデルに基づく表情・動作制御アルゴリズムです。このアルゴリズムは、動画駆動型の映画レベルの表情キャプチャをサポートし、高忠実度の微表情再現を実現します。SkyReels-A1は、任意の人体比率に基づいて、高度にリアルな人物ダイナミック動画を生成でき、そのリアルさは、人物の表情の変化、感情、肌の質感、体の動きなど、多様な詳細な再現に基づいています。

SkyReels-A1は、横顔の表情制御生成をサポートし、よりリアルな眉や目の微表情生成と、より大きな範囲の頭部と自然な体の動きを実現できます。RunwayのAct-Oneと比較して、SkyReels-A1は生成された動画内の人物が歪んでおらず、演技の詳細がよりリアルで、表情と体の動きが自然に完璧に融合しています。

昆侖万維は、オープンソース化を継続的に推進し、技術の平等化を促進しています。2023年8月以降、同社は、大規模言語モデル「天工」Skywork-13Bシリーズ、デジタルインテリジェントエージェントの全工程開発ツールキットAgentStudio、「天工大規模モデル3.0」4000億パラメータMoEスーパーモデルなど、複数のモデルを順次オープンソース化してきました。今回のSkyReels-V1とSkyReels-A1のオープンソース化は、AI短編ドラマ業界における初の事例であり、ユーザーに低コストで制御性の高いAIGC能力を提供することを目的としています。

昆侖万維の董事長兼CEOである方漢氏は、AIGC能力の出現により映画制作コストが大幅に削減され、文化の平等化が促進されると述べています。今後、昆侖万維は、より多くの動画生成モデルとアルゴリズムをオープンソース化し、AI短編ドラマエコシステムの持続的な構築と繁栄を促進していく予定です。

オープンソースアドレス:

SkyReels-V1

https://github.com/SkyworkAI/SkyReels-V1

SkyReels-A1

https://github.com/SkyworkAI/SkyReels-A1

技術レポート:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf

SkyReels公式アドレス:skyreels.ai