機器人也能說地道方言！首個普通話方言混說TTS大模型Bailing-TTS來了

隨着科技的不斷進步，人工智能已經不僅僅是一個冷冰冰的機器，它正在變得越來越像我們人類。想象一下，當你的智能助手不僅能說一口流利的普通話，還能用你熟悉的家鄉話與你交流，那將是一種多麼親切的體驗。Bailing-TTS技術的出現，正在將想象變爲現實。

在人工智能的世界中，文本到語音（Text-to-Speech，TTS）技術是一個重要的領域。它旨在讓機器將文字信息轉換成彷彿真人發出的語音。隨着神經網絡和深度學習技術的飛速發展，我們已經能夠訓練出接近人類水平的語音庫，並開發出相應的TTS模型。然而，現有的系統大多隻能生成非方言的語音，且語音質量仍有提升空間。

Bailing-TTS技術的出現，標誌着我們在方言語音合成領域取得了新的突破。這一技術基於多層自迴歸變換器模型，通過大規模數據集的訓練，包括豐富的方言數據，採用了持續的半監督學習策略，以及針對方言的特殊混合專家網絡架構和多階段訓練策略，有效地從文本生成中國方言語音。

Bailing-TTS的架構包含幾個關鍵部分:

• 持續半監督學習:通過自發的、富有表現力的文本和語音令牌對，促進兩種模態之間的弱對齊。

• 方言特定的混合專家網絡架構:設計了一種混合專家架構，學習多種中國方言的統一表示和每種方言的特定表示。

• 基於強化學習的層級後訓練擴展技術:通過四個訓練階段，包括預訓練、微調和基於強化學習的策略，生成多種中國方言的高質量語音。

研究者們對Bailing-TTS進行了詳盡的實驗評估，包括訓練細節、評估數據集、評估指標等。評估結果顯示，Bailing-TTS生成的方言語音在自然度和質量上都接近真人語音。

Bailing-TTS不僅在技術上取得了突破，它還有着廣泛的實際應用前景。無論是提供更豐富的聊天服務體驗，還是促進方言文化的傳播，Bailing-TTS都顯示出巨大的潛力。

儘管Bailing-TTS已經取得了初步成果，但在情感語音合成、多模態支持等方面還有待進一步探索。研究者們計劃開發下一代Bailing-TTS模型，以從視頻和文本輸入生成高質量的音頻（語音/音樂），並探索同時生成高質量音頻和視頻的可能性。

項目地址：https://top.aibase.com/tool/bailing-tts

論文地址：https://arxiv.org/pdf/2408.00284