在現代科技的快速發展中,AI 與人類的互動日益頻繁,但傳統的視頻通話往往伴隨着卡頓、延遲和聲畫不同步的問題。然而,通義實驗室最新推出的 Wan-Streamer v0.2,將這些困擾徹底擊破,以550毫秒的響應延遲實現了真正 “面對面” 的自然交流。

Wan-Streamer v0.2是一款全新的端到端全模態理解與生成模型。它將 “聽、看、說、演” 功能整合在一個 Transformer 模型中,使得 AI 能夠像人類一樣實時感知並回應對話。這意味着,無論是語音、文本還是視頻,AI 都可以在瞬間理解並生成相應的反饋。

image.png

與市場上其他實時交互系統相比,Wan-Streamer 在響應速度上表現卓越,整體延遲僅爲0.55秒(包含網絡傳輸),顯著快於大多數現有語音對話模型。此外,其畫質也得到了顯著提升,分辨率從之前的192×336提高到640×368,場景細節更加清晰可見。

這一技術的突破源於其獨特的架構設計。傳統的實時交互系統通常採用級聯流水線模式,導致信息傳遞緩慢,且容易出現不同步的問題。而 Wan-Streamer 通過引入流式單元的概念,能夠在每160毫秒內完成用戶輸入的感知、狀態更新、生成響應等操作,從而實現流暢的互動。

在此版本中,AI 不僅僅是一個 “懸浮的頭部”,更是一個能夠自然表達情感與動作的全身數字人。你可以看到 AI 的視線、姿態和手勢,甚至它周圍的環境。這樣的設計,使得用戶在與 AI 互動時感受到更多的真實感和親切感。

此外,Wan-Streamer v0.2的應用場景非常廣泛,包括口語陪練、心理諮詢、教育輔導、遊戲 NPC 互動等,幾乎涵蓋了所有需要 “在場感” 的領域。

總的來說,Wan-Streamer v0.2通過原生流式架構與分佈式推理的結合,讓 AI 的溝通方式更接近於人類之間的真實交流。這一技術將如何進一步發展,值得我們持續關注。