阿里巴巴集團在數字人技術領域再下一城，正式開源了一款基於MNN框架的3D數字人應用——MNN TaoAvatar。這款創新技術將高保真的3D虛擬形象生成與實時交互能力帶到移動設備，爲直播、虛擬社交和AR應用等領域帶來全新可能性。以下，AIbase將爲您詳細解析這款令人矚目的技術突破。

MNN TaoAvatar:手機上的3D數字人“魔法棒”

MNN TaoAvatar是阿里巴巴基於其開源的輕量級深度學習推理框架MNN開發的3D數字人技術。與傳統的平面化Live2D技術不同，MNN TaoAvatar支持真3D虛擬角色的實時生成與驅動，能夠在手機等移動設備上以高達90FPS的幀率運行，帶來流暢的交互體驗。

該技術結合了3D高斯濺射（3D Gaussian Splatting）技術，通過多視角圖像序列生成照片級逼真的3D全身虛擬形象。無論是面部表情、手勢還是身體姿態，MNN TaoAvatar都能實現毫米級的精細控制，確保虛擬角色的口型、表情和動作自然同步，爲用戶帶來栩栩如生的視覺體驗。

image.png

技術亮點:輕量高效，多模態驅動

MNN TaoAvatar的成功離不開MNN框架的強大性能支持。作爲阿里巴巴自2019年開源的推理引擎，MNN以其輕量級、高性能和跨平臺兼容性在業內廣受好評。MNN TaoAvatar在此基礎上進一步優化，具備以下核心優勢:

實時面部捕捉:通過深度學習算法，MNN TaoAvatar能夠精準捕捉用戶的喜怒哀樂，並以低延遲同步到3D虛擬角色，適用於直播、虛擬會議等實時交互場景。

輕量級部署:得益於MNN的模型量化和內存優化技術，MNN TaoAvatar能夠在普通手機上流暢運行，無需高端硬件支持，大幅降低使用門檻。

多模態支持:除了面部表情捕捉，MNN TaoAvatar還支持語音、文本和圖像生成等多種輸入方式，爲開發者提供豐富的創作空間。

開源生態:作爲阿里開源戰略的一部分，MNN TaoAvatar提供完善的API和工具，方便開發者將其集成到Android和iOS應用中，助力快速開發與部署。

此外，MNN TaoAvatar通過知識蒸餾技術和可學習的高斯混合形狀優化了非剛性變形處理，確保虛擬形象在複雜姿態下依然保持高保真度。這種技術創新使其在資源受限的移動設備上也能實現高質量渲染，堪稱3D數字人領域的“黑科技”。

應用場景:從直播帶貨到元宇宙

MNN TaoAvatar的應用潛力十分廣泛，已在阿里巴巴內部的多個場景中得到驗證。例如，在淘寶和優酷等平臺中，3D數字人技術已用於提升直播帶貨和虛擬活動的用戶體驗。以下是一些典型應用場景:

電商直播:通過逼真的3D虛擬主播，MNN TaoAvatar能夠提升用戶沉浸感，同時降低人力成本。

虛擬社交與會議:用戶可創建個性化的3D虛擬形象，參與虛擬會議或社交互動，增強沉浸式體驗。

元宇宙與AR:MNN TaoAvatar支持在AR設備（如Apple Vision Pro）上運行，爲元宇宙和虛擬現實應用提供技術支持。

在線教育與娛樂:通過生動的虛擬角色，MNN TaoAvatar可爲教育和遊戲內容增添趣味性和互動性。

值得一提的是，MNN TaoAvatar的低存儲需求和高兼容性使其尤其適合移動端和AR設備，爲未來元宇宙的普及奠定了技術基礎。

開源賦能:阿里數字人技術的又一里程碑

MNN TaoAvatar的開源標誌着阿里巴巴在數字人技術領域的又一重要突破。此前，阿里通義實驗室已推出EchoMimic、OmniTalker等數字人項目，展現了其在該領域的深厚積累。而MNN TaoAvatar的發佈，進一步壯大了MNN生態，爲全球開發者提供了探索3D數字人應用的便捷工具。

項目地址已公開（https://github.com/alibaba/MNN），開發者可通過豐富的API和文檔快速上手，定製屬於自己的3D數字人應用。AIbase認爲，MNN TaoAvatar的開源不僅降低了3D數字人技術的開發門檻，也將加速其在商業場景中的普及，爲內容創作者和企業提供強大的技術支持。

更多詳情，請訪問項目官網:https://pixelai-team.github.io/TaoAvatar/ 或 GitHub地址:https://github.com/alibaba/MNN。[]（https://ai-bot.cn/taoavatar/）[](https://www.aitop100.cn/infomation/details/26939.html)