香港中文大學和騰訊聯合推出了一個全新的技術框架ControlMM，爲全身動作生成帶來了新的突破，該技術支持輸入文字、語音、音樂等多模態模式，進而生成與內容相匹配的全身動作。

image.png

產品入口：https://top.aibase.com/tool/controlmm

ControlMM 的出現是爲了解決當前在文本、語音或音樂控制的全身多模態運動生成中存在的諸多難題。比如，不同生成場景下的運動分佈漂移，混合條件不同粒度的複雜優化，以及現有數據集中不一致的運動格式等。

爲了有效應對這些挑戰，研究人員提出了一系列創新的方法。首先，ControlMM-Attn 被用於並行建模靜態和動態的人體拓撲圖，以有效地學習和傳遞不同運動分佈中的運動知識。

其次，ControlMM 採用了由粗到細的訓練策略，包括階段1的文本到運動預訓練用於語義生成，以及階段2的多模態控制適應不同低級粒度的條件。

此外，爲了解決現有基準中運動格式不一致的限制，還推出了 ControlMM-Bench，這是首個基於統一全身 SMPL-X 格式的公開可用多模態全身人體運動生成基準。

通過大量實驗，ControlMM 在各種標準運動生成任務中表現出色。無論是在 Text-to-Motion、Speech-to-Gesture 還是 Music-to-Dance 等方面。與基線模型相比，ControlMM 在可控性、順序性和運動合理性上都具有顯著的優勢。

ControlMM的功能亮點:

1. ** 多模態控制 **:ControlMM 支持通過文本、語音和音樂等多種模態進行全身運動生成，增強了控制能力和適應性。

2. ** 統一框架 **:採用統一的 ControlMM 框架，實現了多種運動生成任務的整合，提高了生成效率。

3. ** 分階段訓練策略 **:通過粗到細的訓練策略，首先進行文本到運動的預訓練，然後進行低級控制信號的適配，確保模型在不同粒度條件下的有效性。

4. ** 高效的運動知識學習 **:ControlMM-Attn 模塊並行建模動態和靜態的人體拓撲圖，優化運動序列的表示，提升了運動生成的準確性。

5. ** 新基準引入 **:推出 ControlMM-Bench，提供了首個基於統一 SMPL-X 格式的公開多模態全身運動生成基準，有助於推動該領域的研究和應用。

6. ** 優越的生成效果 **:在各項標準運動生成任務中，ControlMM 展現了領先的性能，包括控制性、連續性和運動合理性。