ChatTTS,语气韵律媲美真人的开源TTS模型,文字转语音界的新魁首,对标微软Azure-tts
前两天 2noise 团队开源了ChatTTS项目，并且释出了相关的音色模型权重，效果确实非常惊艳，让人一听难忘，即使摆在微软的商业级项目Azure-tts面前，也是毫不逊色的。
ChatTTS是专门为对话场景设计的文本转语音模型，例如大语言助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。目前在huggingface中的开源版本为4万小时训练且未SFT的版本。
本次分享一下如何在本地部署ChatTTS项目。
配置ChatTTS环境
首先确保本地已经安装好Anaconda软件包，运行命令创建虚拟环境:
conda create -n ChatTTS python=3.11
之所以选择Python3.11的版本，是因为该版本的整体性能更好。
随后克隆官方的项目：
git clone https://github.com/2noise/ChatTTS.git
进入项目
cd ChatTTS
激活虚拟环境
conda activate ChatTTS
安装项目依赖：
pip install -r requirements.txt
最后安装gpu版本的torch:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
注意这里默认的cuda版本是12.1，如果你的本地cuda是11.8，那么就安装对应11.8的torch:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
至此，环境就配置好了。
ChatTTS的基本使用
首先，是最基本的文字转语音功能：
import ChatTTS
from IPython.display import Audio chat = ChatTTS.Chat()
chat.load_models() texts = ["你好啊",] wavs = chat.infer(texts, use_decoder=True)
Audio(wavs[0], rate=24_000, autoplay=True)
这里 ChatTTS 是项目内的文件夹模块，初始化后直接调用infer方法即可进行音频推理。
需要注意的是，首次运行会默认在Huggingface上下载模型，需要学术上网环境。
ChatTTS的进阶用法
###################################
# Sample a speaker from Gaussian.
import torch
std, mean = torch.load('ChatTTS/asset/spk_stat.pt').chunk(2)
rand_spk = torch.randn(768) * std + mean params_infer_code = { 'spk_emb': rand_spk, # add sampled speaker 'temperature': .3, # using custom temperature 'top_P': 0.7, # top P decode 'top_K': 20, # top K decode
} ###################################
# For sentence level manual control. # use oral_(0-9), laugh_(0-2), break_(0-7)
# to generate special token in text to synthesize.
params_refine_text = { 'prompt': '[oral_2][laugh_0][break_6]'
} wav = chat.infer("<PUT YOUR TEXT HERE>", params_refine_text=params_refine_text, params_infer_code=params_infer_code) ###################################
# For word level manual control.
# use_decoder=False to infer faster with a bit worse quality
text = 'What is [uv_break]your favorite english food?[laugh][lbreak]'
wav = chat.infer(text, skip_refine_text=True, params_infer_code=params_infer_code, use_decoder=False)
这里通过 std, mean = torch.load(‘ChatTTS/asset/spk_stat.pt’).chunk(2) 方法来固定音色。
随后通过 params_refine_text 来人为的增加笑声和断句。
ChatTTS的中文样例
最后是一个ChatTTS的中文推理例子：
inputs_cn = """
chat T T S 是一款强大的对话式文本转语音模型。它有中英混读和多说话人的能力。
chat T T S 不仅能够生成自然流畅的语音，还能控制[laugh]笑声啊[laugh]，
停顿啊[uv_break]语气词啊等副语言现象[uv_break]。这个韵律超越了许多开源模型[uv_break]。
请注意，chat T T S 的使用应遵守法律和伦理准则，避免滥用的安全风险。[uv_break]'
""".replace('\n', '') params_refine_text = { 'prompt': '[oral_2][laugh_0][break_4]'
}
audio_array_cn = chat.infer(inputs_cn, params_refine_text=params_refine_text)
audio_array_en = chat.infer(inputs_en, params_refine_text=params_refine_text)
文本内容可以通过[laugh]和[uv_break]标识来进行笑声和语气停顿的定制化操作
结语
诚然，没有完美的产品，ChatTTS的模型稳定性似乎还有待提高, 偶尔会出现其他音色或音质很差的现象，这是自回归模型通常都会出现的问题，说话人的音色也有可能会在一定范围内变化, 可能会采样到音质非常差的结果, 这通常难以避免. 可以多采样几次来找到合适的结果，俗称抽卡，最后奉上一键整合包，与众乡亲同飨：
ChatTTS新版整合包：https://pan.quark.cn/s/e07f47edf82a