近日，阿里巴巴集團旗下的研究團隊低調發布了一項引人矚目的新技術——TaoAvatar。這項創新項目專注於構建照片級逼真的3D 全身可說話虛擬人，旨在爲增強現實（AR）應用帶來革命性的體驗，讓數字世界中的互動更加生動自然。TaoAvatar 的出現，預示着我們未來的 AR 體驗擁有了能聽、能說、有表情、有動作的“虛擬化身”。

QQ20250325-092514.png

打破次元壁，AR場景中栩栩如生的“你”

TaoAvatar 最核心的功能在於其能夠創建與真人高度相似的3D 全身虛擬形象。更重要的是，這些虛擬形象並非 статичные 模型，而是能夠在 AR 的3D 場景中進行實時對話。

QQ_1742865979553.png

想象一下，在未來的電商直播中，你看到的不再是平面的主播畫面，而是一個立體的、如同真人大小的虛擬形象，在你的房間裏熱情地介紹商品。在全息通訊中，遠方的朋友將以生動的3D 形象出現在你面前，彷彿近在咫尺。

表情豐富，肢體自然:打造有“靈魂”的虛擬人

爲了讓 AR 體驗更加真實，TaoAvatar 在面部表情和身體動作的控制方面下了很大功夫。

通過集成 Audio2BS 模型，虛擬人的面部表情和手勢能夠根據語音內容動態生成，實現口型、表情和動作的自然同步。這意味着虛擬人在說話時，不僅嘴巴會動，還會伴隨着自然的眼神交流和肢體語言，使其看起來更富有情感和生命力。

實時渲染，流暢體驗:90FPS暢遊AR世界

對於 AR 應用而言，流暢的體驗至關重要。TaoAvatar 採用了 3D 高斯濺射（3DGS）技術，實現了高質量的實時渲染。

即使在像 Apple Vision Pro 這樣的高清立體顯示設備上，TaoAvatar 也能保持 90幀每秒的流暢運行。這保證了用戶在使用 AR 應用時，虛擬人的動作和交互都能夠平滑自然，毫無卡頓感，從而帶來更佳的沉浸式體驗。

輕量高效，多平臺兼容:未來AR觸手可及

除了高質量的渲染，TaoAvatar 還具備低存儲需求和良好的跨平臺兼容性。這使得它能夠部署在各種移動和 AR 設備上，例如 Apple Vision Pro。

爲了實現高性能和低資源佔用，TaoAvatar 團隊首先構建了一個個性化的服裝擴展 SMPLX 網格，並將高斯紋理與之對齊。然後，他們利用教師網絡學習複雜的姿態相關的非剛性變形，並通過知識蒸餾技術將其“烘焙”到一個輕量級的 MLP 網絡中。

此外，他們還開發了可學習的高斯混合形狀來增強外觀細節。這些技術的結合，使得 TaoAvatar 在保證渲染質量的同時，也具備了在資源受限的移動設備上運行的能力，爲未來的普及奠定了基礎。

展望未來:TaoAvatar開啓AR沉浸式交互新時代

TaoAvatar 的發佈，不僅展示了阿里巴巴在3D 虛擬人技術上的最新進展，更預示着 AR 應用將迎來更加沉浸和自然的交互方式。無論是遠程協作、在線教育、虛擬社交還是數字娛樂，TaoAvatar 都有望發揮重要作用，讓用戶在 AR 世界中擁有一個可溝通、有情感的“數字替身”。

項目入口：https://top.aibase.com/tool/taoavatar