當語音AI被拉進一場長達數小時、橫跨幾十輪的真實對話,它到底能不能記住"這句話是誰說的、用什麼樣的語氣、背景裏有什麼聲音"?墨爾本大學與新南威爾士大學的聯合團隊覺得,現有的評測根本答不了這個問題,於是端出了專門戳這塊軟肋的基準VoxMem。
他們先點破了舊評測的兩道硬傷:一是隻盯着轉寫出來的文字內容,把聲音裏藏着的身份信息、情緒線索、環境聲一股腦丟掉;二是沒法把"歷史有多長"這個變量單獨剝離出來看,於是模型表現差,到底是記性差還是被長度拖垮的,誰也說不清。VoxMem的打法是建一套"聲學證據 × 記憶操作"的二維分類法,把考察維度正交拆開,覆蓋15種組合,而且所有題目在8K到64K的不同歷史長度下保持原樣不動——等於只擰"對話長度"這一顆旋鈕,其餘全鎖死,讓記憶效果的變化能幹淨地歸因到長度上。
這套基準的體量不輕:共3196個評測實例、34743個語音會話,合計約177小時音頻,足以模擬一場漫長的多輪交談。而對15個主流音頻大模型的實測結果,相當打臉。在32K上下文長度下,所有模型的整體準確率都沒能越過40%這條線。更值得玩味的是偏科方向:模型對"說了什麼"的語義記憶,明顯強過對說話人身份、副語言線索(語氣、情緒)和環境聲這三類聲音原生信息的記憶;尤其追蹤語氣起伏、背景聲變化的準確率極低,基本處於抓瞎狀態。而且隨着歷史長度往上加,各類信息的記憶準確率全在往下掉。
團隊據此下了個判斷:當前音頻大模型的語音記憶瓶頸,主要卡在"識別、定位、把信息關聯綁定"這幾個環節,而不是推理操作本身——換句話說,模型不是不會想,而是連"誰在什麼時候、以什麼方式說了什麼"這種底層事實都沒接穩,上層推理自然無從談起。VoxMem這套基準,等於給語音AI量體溫時換了一支更細的體溫計,逼着業界正視一個長期被文字轉寫掩蓋的事實:聽得懂詞,不等於記得住人、語氣和整個世界。
VIP會員