近日，上海交通大學的研究團隊推出了一個名爲 Gen3DHF 的新數據集，專注於評估 AI 生成的3D 人臉質量。隨着生成式人工智能的快速發展，3D 人臉的生成成爲可能，尤其在虛擬現實等領域具有廣泛應用。然而，評估這些生成3D 人臉的質量和真實感依然是一個巨大的挑戰，因爲人類對面部特徵的感知往往具有主觀性和敏感性。

image.png

Gen3DHF 數據集是一個大規模的基準數據集，包含2000個 AI 生成的3D 人臉視頻，以及從質量和真實感兩個維度收集的4000個平均意見得分（MOS）、2000個失真感知顯著圖和失真描述。這一數據集爲研究人員提供了一個寶貴的工具，以客觀評估 AI 生成內容的質量。

在此基礎上，研究團隊還提出了 LMME3DHF，這是一個基於大型多模態模型的3D 人臉評估指標，能夠有效預測質量和真實感得分，並進行失真感知視覺問答（VQA）和顯著性預測。實驗結果表明，LMME3DHF 在準確性方面達到了最先進的性能，不僅超越了現有方法，還與人類感知判斷高度一致。

團隊指出，儘管 AI 生成的3D 人臉在生成能力上取得了顯著提升，但仍然存在感知失真和非真實感僞影等問題，未能滿足人類的質量期望。人類評估雖然提供了重要見解，但其成本高且效率低，因此開發一種客觀的質量度量標準變得至關重要。

Gen3DHF 數據集的推出，彌補了現有方法在評估 AI 生成3D 人臉方面的不足，特別是針對面部失真的獨特性。通過對多樣化3D 人臉視頻樣本的評估，研究團隊在質量和真實感兩個方面取得了顯著進展。這不僅有助於提升生成技術的可信度，還將推動虛擬現實和相關領域的發展。

論文:https://arxiv.org/pdf/2504.20466

劃重點:

🌟 Gen3DHF 數據集包含2000個 AI 生成的3D 人臉視頻，爲質量評估提供了基礎。

🤖 LMME3DHF 評估指標在失真感知和真實感預測方面表現優異，超越現有方法。

🔍 研究旨在填補現有 AI 生成3D 人臉評估中的空白，提升技術的可靠性。