人工智能語音技術領域迎來重大突破!加拿大初創公司Resemble AI近日發佈其首款開源文本轉語音（TTS）模型ChatterBox，採用MIT許可證。這一模型以其卓越的語音克隆能力、情緒控制功能和超低延遲特性，迅速成爲行業焦點，甚至在盲測中超越了知名閉源模型ElevenLabs。

image.png

ChatterBox的發佈背景

ChatterBox是Resemble AI在語音合成領域的最新成果，基於0.5億參數的Llama架構，訓練數據高達50萬小時的精選音頻。相較於傳統閉源TTS解決方案，ChatterBox以開源形式發佈，旨在爲開發者、創作者和企業提供高質量且自由度更高的語音生成工具。近期網絡信息顯示，ChatterBox自5月底發佈以來，已在GitHub上獲得數百個Star，顯示出社區對其的高度認可。

其獨特的功能，如零樣本語音克隆、情緒誇張控制和實時推理，使其在語音助手、遊戲、影視製作等領域展現出巨大潛力。ChatterBox的發佈不僅降低了語音克隆技術的使用門檻，還爲行業樹立了新的標杆。

核心特性:技術突破與應用場景

零樣本語音克隆

ChatterBox支持僅需數秒參考音頻即可實現精準的語音克隆，無需額外訓練。這種“零樣本”能力極大簡化了語音克隆流程，適用於個性化語音助手、虛擬角色配音等場景。開發者可通過簡單的音頻提示調整目標語音風格，確保輸出高度貼合需求。

情緒控制創新

ChatterBox是首款支持情緒誇張控制的開源TTS模型，用戶可通過單一參數調節語音的情感強度，從單調到戲劇化表達均可實現。這一功能使其在需要高度表現力的場景（如動畫、廣告和互動娛樂）中表現出色，顯著優於傳統模型的機械化輸出。

超低延遲與易用性

得益於基於對齊的生成技術，ChatterBox實現快於實時的語音合成，適合實時應用如語音助手和遊戲對話系統。配合專用的Python庫（chatterbox-tts），開發者可輕鬆在本地或雲端部署模型，並支持CUDA加速，進一步提升效率。

內置水印技術

爲應對語音克隆可能帶來的倫理問題，ChatterBox在生成音頻中嵌入Resemble AI的PerTh神經水印技術。這種水印難以察覺但可追蹤，確保生成內容的可追溯性，平衡了技術開放性與安全性。

行業影響:開源語音技術的里程碑

ChatterBox的開源發佈標誌着語音克隆技術從專有走向民主化。近期測試顯示，63.75%的聽衆在盲測中更偏好ChatterBox的音頻輸出，優於行業標杆ElevenLabs，凸顯其競爭力。 與此同時，ChatterBox的MIT許可證爲開發者提供了無障礙的使用體驗，預計將加速其在教育、娛樂和商業領域的普及。

然而，語音克隆技術的開放也引發了倫理討論。網絡動態指出，AI語音克隆已被用於詐騙和非授權內容生成，凸顯了技術濫用的風險。 Resemble AI通過水印技術和社區規範呼籲，試圖在開放創新與責任使用間找到平衡。AIbase認爲，這一努力爲行業樹立了負責任開源的典範。

項目:https://github.com/resemble-ai/chatterbox