阿里开源 CosyVoice2：打造 TTS 文本转语音实战应用

1、引言

1.1、CosyVoice2 简介

阿里通义实验室推出音频基座大模型 FunAudioLLM，包含 SenseVoice 和 CosyVoice 两大模型。

CosyVoice：模拟音色与提升情感表现力

多语言

• 支持的语言: 中文、英文、日文、韩文、中文方言（粤语、四川话、上海话、天津话、武汉话等）
• 跨语言及混合语言：支持零样本的跨语言和代码转换场景的语音克隆。

超低延迟

• 双向流支持: CosyVoice 2.0 集成了离线和流式建模技术。
• 快速首包合成: 在保持高质量音频输出的同时，实现了低至150毫秒的延迟。

高精度

• 改进发音: 与CosyVoice 1.0相比，减少了30%到50%的发音错误。
• 基准测试成就: 在Seed-TTS评估集的困难测试集中达到了最低字符错误率。

强稳定性

• 音色一致性: 确保了在零样本和跨语言语音合成中的可靠音色一致性。
• 跨语言合成: 相比1.0版本有了显著提升。

自然体验

• 增强韵律和音质: 改善了合成音频的一致性，将MOS评分从5.4提高到了5.53。
• 情感和方言灵活性: 现在支持更多细粒度的情感控制和口音调整。

CosyVoice 由一个自回归变换器（用于为输入文本生成相应的语音标记）、一个基于 ODE 的扩散模型、流匹配（用于从生成的语音标记重建梅尔频谱）和一个基于 HiFTNet 的声码器（用于合成波形）组成。虚线模块在特定模型用途中是可选的，例如跨语言、SFT 推理等。

1.2、CosyVoice2 资源

• 开源仓库：https://github.com/FunAudioLLM/CosyVoice
  

• 示例地址：https://funaudiollm.github.io/cosyvoice2
  

• 模型地址：https://modelscope.cn/models/iic/CosyVoice2-0.5B/files

• 在线体验：https://www.modelscope.cn/studios/iic/CosyVoice2-0.5B

2、安装

2.1、安装 Anaconda

Linux 安装 Anaconda 参考文章

MAC 安装 Anaconda 参考文章

Windows 安装 Anaconda 参考文章

2.2、创建独立环境

# 创建一个名为 wn_cosyvoice 的环境，并指定在该