站長之家(ChinaZ.com) 6月17日 消息:Hallo允許通過單張圖像和音頻輸入生成唱歌和說話的視頻，同時還能控制視頻中人物的表情和姿態。這項技術基於擴散模型的層次化音頻驅動視覺合成方法，旨在提升語音輸入與生成動畫之間的對齊精度，包括嘴脣、表情和姿態的同步。

主要功能:

  • 虛擬角色動畫生成:通過語音音頻輸入，生成逼真、動態的虛擬角色動畫，並實現口型、表情和姿態的精確同步。

  • 真實角色動畫生成:將該技術應用於真實人物，生成的動畫能準確反映真實人物的表情和動作變化。

  • 多種運動控制:提供對角色表情、姿態和嘴脣運動的精確控制，支持多種表情和姿態的自適應控制，以增強動畫的多樣性和真實性。

  • 跨演員應用:支持不同身份的個性化動畫生成，通過音頻輸入，生成適應不同角色身份的動畫效果。

  • 歌唱動畫生成:通過語音和歌曲音頻輸入，生成同步的歌唱動畫，動畫能夠準確反映歌唱時的口型和表情變化。

這項技術通過輸入語音來生成人物嘴脣同步、表情變化和姿態變化的動畫，提高語音與生成動畫之間的對齊精度，使動畫的嘴脣、表情和姿態與語音更匹配。採用的先進技術和結構增強了動畫生成的實時性和視覺效果，使生成的動畫更加逼真和自然。

這項研究的成果不僅在學術上具有創新性，而且在實際應用中也展現出巨大的潛力，如在娛樂、教育、虛擬助手和其他多媒體領域的應用。通過這項技術，用戶可以更直觀、更生動地與虛擬角色進行交互，享受更加豐富和真實的體驗。

項目地址：https://top.aibase.com/tool/hallo