阿里通義實驗室LHM技術實現從單圖像的快速3D 人體重建與動畫生成

近日，阿里通義實驗室一項名爲 LHM（大型可動畫人體重建模型）的創新技術在3D 人體重建領域取得了重大突破，爲該領域帶來了全新的發展方向和應用前景。

從單個圖像進行可動畫的3D 人體重建一直是一個極具挑戰性的任務，存在着幾何、外觀和變形分離的模糊性等問題。當前的最新研究進展大多集中在靜態人體建模方面，並且這些方法往往依賴於合成的3D 掃描進行訓練，這在很大程度上限制了它們在實際場景中的泛化能力。同時，基於優化的視頻方法不僅需要嚴格控制捕獲條件，而且計算過程極爲密集，難以滿足實際應用的需求。

針對這些難題，LHM 模型應運而生。該模型創新性地採用了多模態變換器架構，通過強大的注意機制，能夠有效地對人體位置特徵和圖像特徵進行編碼。這一架構使得 LHM 不僅能夠準確地重建人體的幾何形狀，還能詳細地保存服裝的幾何形狀和紋理，爲用戶呈現出更加真實、細膩的3D 人體模型。

值得一提的是，LHM 還提出了頭部特徵金字塔編碼方案。這一方案通過聚合頭部區域的多尺度特徵，進一步提升了模型對人體頭部細節的捕捉能力，使得生成的3D 人體模型在頭部表現上更加逼真。在實際應用中，LHM 展現出了驚人的效率，能夠在短短几秒鐘內生成合理動畫的人體，並且無需進行復雜的後期處理，大大節省了時間和人力成本。

經過大量的實驗驗證，LHM 在重建精度和泛化能力方面均優於現有的方法。無論是在複雜的場景中，還是在不同的光照條件下，LHM 都能夠穩定地輸出高質量的3D 人體重建結果。

地址：https://lingtengqiu.github.io/LHM/