Maya Research 最近发布了 Maya1，这是一个具有30亿参数的文本转语音模型。它能够将文本和简短描述转化为可控、富有表现力的语音，并能在单个 GPU 上实时运行。Maya1的核心功能在于能够捕捉真实人类情感以及精确的声音设计。

image.png

Maya1的操作界面有两个输入:自然语言语音描述和需要朗读的文本。例如，用户可以输入 “20多岁女性，英式口音，充满活力，清晰的发音” 或 “恶魔角色，男性声音，低音调，沙哑的音色，慢节奏”。模型会结合这两种信号生成符合内容和描述风格的音频。此外，用户还可以在文本中插入情感标签，如 < 笑 >、< 叹气 >、< 低语 > 等，超过20种情感供选择。

Maya1输出的音频为24kHz 单声道，并支持实时流媒体，这使其非常适合用于助手、互动代理、游戏、播客及直播内容。Maya Research 团队声称，该模型的性能超过了许多顶级的专有系统，同时完全开源，遵循 Apache2.0许可证。

在架构上，Maya1是一个解码器仅有的变换器，采用类似 Llama 的结构。它不直接预测原始波形，而是通过名为 SNAC 的神经音频编码器预测编码。整个生成流程包括文本处理、编码生成和音频解码，能够有效提高生成效率并便于扩展。

Maya1的训练数据来自互联网规模的英语语音语料库，旨在学习广泛的声学覆盖和自然的连贯性。随后，它还在一个经过精心挑选的专有数据集上进行了微调，该数据集包含经人类验证的语音描述和多种情感标签。

为了在单个 GPU 上进行推理和部署，Maya1推荐使用16GB 及以上的显存卡，例如 A100、H100或 RTX4090。此外，Maya Research 团队还提供了一系列工具和脚本，方便用户进行实时音频生成和流媒体支持。

huggingface:https://huggingface.co/spaces/maya-research/maya1

划重点:  

🎤 Maya1是一个30亿参数的开源文本转语音模型，能够实时生成富有表现力的音频。  

💡 该模型结合自然语言描述和文本输入，支持多种情感标签，提升语音表现力。  

🚀 Maya1可在单个 GPU 上运行，并提供多种工具以支持高效的推理和部署。