当前位置: 首页 > news >正文

新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star

Coqui TTS 项目介绍

Coqui 文本转语音(Text-to-Speech,TTS)是新一代基于深度学习的低资源零样本文本转语音模型,具有合成多种语言语音的能力。该模型能够利用共同学习技术,从各语言的训练资料集转换知识,来有效降低需要的训练资料量。

这个模型库现在已经在GitHub上开源,并有高达 20.5K+ 的star量。似乎和以前讲过的Mozilla 的 TTS 有着千丝万缕的联系,但是如今Mozilla TTS 已经停止更新,而 Coqui TTS 更新稳定,是目前少数几个更新比较稳定的开源语音库。

coqui官网:https://coqui.ai/

开源地址:https://github.com/coqui-ai/TTS/

在这里插入图片描述

Arm架构离线安装 coqui TTS

要在 ARM 架构的设备上离线安装 Coqui TTS,可以按照以下步骤进行操作:

  1. 1. 安装必要的依赖项:Python 3PipGit.

2.克隆CoquiTTS 的Git 仓库.

git clone https://github.com/coqui-ai/TTS

3.安装所需的Python包.

pip install -r requirements.txt

4.下载所需的语音模型和配置文件,并将其放在IIS/tts/mode1s 目录下.可以从 CoquiTTS 的GitHub 页面上下载这些文件.

5.运行测试脚本来验证安装是否成功.

python demo_cli .py

注意,由于 ARM 架构的设备通常性能较低,因此可能需要更长时间才能完成编译和训练等操作。此外,如果您希望在 ARM 架构的设备 上进行 TTS 实时推理,则可能需要使用较小的模型或调整一些模型参数以提高性能。

python 命令行安装及使用

1.安装

pip install tts

注意 TTS 是依赖 torch 的,由于 torch 庞大的体积,所以可能是要等很久。但是我这里由于环境问题,只能用特定版本的 torch,否则用不了 GPU。

2.安装完成后测试

tts --list_models

输出模型的信息,说明OK

Name format: type/language/dataset/model1: tts_models/multilingual/multi-dataset/your_tts2: tts_models/en/ek1/tacotron2....

查看模型信息

tts --model_info_by_name tts_models/tr/common-voice/glow-tts
> model type : tts_models
> language supported : tr
> dataset used : common-voice
> model name : glow-tts
> description : Turkish GlowTTS model using an unknown speaker from the Common-Voice dataset.
> default_vocoder : vocoder_models/tr/common-voice/hifigan

文本生成语音

tts --text "text for TTS" --out_path ./test_speech.wav
100%|████████████████████████████                                                                                                                                                    █████████████████████████████████                                                                                                                                                          █████████████████████████████████                                                                                                                                                          █████████████████████████████████                                                                                                                                                          ████████████████████| 113M/113M [                                                                                                                                                          05:58<00:00, 315kiB/s]
> Model's license - apache 2.0
> Check https://choosealicense.c                                                                                                                                                          om/licenses/apache-2.0/ for more                                                                                                                                                           info.
> Downloading model to /root/.lo                                                                                                                                                          cal/share/tts/vocoder_models--en-                                                                                                                                                          -ljspeech--hifigan_v2
100%|█| 3.80M/3.80M [00:01<00:00,
> Model's license - apache 2.0
......
Removing weight norm...
> Text: text for TTS
> Text splitted to sentences.
['text for TTS']
> Processing time: 0.78575992584                                                                                                                                                          22852
> Real-time factor: 0.4602105388                                                                                                                                                          021246
> Saving output to ./test_speech                                                                                                                                                          .wav

离线安装TTS

以下是在Linux系统上离线安装CoquiTTS的步骤:

1.下载CoquiTTS的代码.

git clone https://github.com/coqui-ai/TTS

2.安装依赖项.

sudo apt-get install python3-pip libsndfile1
pip3 install -r requirements.txt

3.下载所需的模型,例如英文的Tacotron2模型.

wget https://github.com/coqui-ai/TTS/releases/download/tts_models/tts_models_tacotron2_anon.tar.bz2
tar xvf tts_models_tacotron2_anon.tar.bz2

4.设置环境变量.

export PYTHONPATH=$PYTHONPATH: /path/to/TTS

5.启动TTS服务器.

python3 server.py --model_path /path/to/tacotron2 --config_path /path/to/tacotron2/config.json --port 8000

其中/path/to/tacotron2 为第3步中下载的Tacotron2模型的路径,/path/to/tacotron2/config. json 为Tacotron2模型的配置文件的路径。

6.连接到TTS服务器并进行语音合成.

import requests
import ison
r = requests.post('http://localhost:8000/api/tts', data=json.dumps({"text": "hello", "model_name": "ntacotron2"}
))
with open ("output .wav", "wb") as f:f.write(r.content)

这将生成一个名为 output .wav 的WAV文件,其中包含语音合成的结果。

有兴趣的有条件的同学可以下载体验一番,试一试!欢迎关注公粽号:Python兴趣圈,学习更多Python技能、开源项目推荐。

http://www.lryc.cn/news/196699.html

相关文章:

  • CSS 效果:多列文字,第一行对齐,flex方式元素被挤压
  • 优维低代码实践:片段
  • 【计算机网络】第一章、计算机网络体系结构
  • vr火灾逃生安全科普软件开展消防突击教育安全有效
  • Kafka SASL认证授权(五)ACL源码解析
  • logback-spring.xml 中根据不同的业务表示,分类打印到不同的文件夹、时区动态设置
  • linux系统编程之一
  • 【LeetCode】《LeetCode 101》第十三章:链表
  • Electron webview 内网页 与 preload、 渲染进程、主进程的常规通信 以及企业级开发终极简化通信方式汇总
  • AI人工训练师,提升外呼机器人的运营效果
  • nginx正向代理、反向代理、负载均衡(重中之重)
  • MySQl_2
  • 使用Filter AND Interceptor校验等录(全网独一份,机不可失)
  • ubuntu20.04安装FTP服务
  • MyBatisPlus(二十)防全表更新与删除
  • 14.9 Socket 高效文件传输
  • 第二节 threejs简单案例
  • PowerShell批量修改DNS域名解析
  • uniapp(uncloud) 使用生态开发接口详情3(新增产品分类,产品列表,新闻列表)
  • XTU-OJ 1339-Interprime
  • FPGA中的LUT查找表工作原理。
  • Python爬虫:制作一个属于自己的IP代理模块
  • 解决QT中文乱码
  • GPIO基本原理
  • 算法通过村第十五关-超大规模|青铜笔记|海量找数
  • TCP、IP和HTTP的区别和联系
  • 【4】c++11新特性(稳定性和兼容性)—>final关键字
  • 23基于MATLAB的小波降噪,默认阈值消噪,强制消噪,给定软阈值消噪方法,数据直接替换后就可以跑。
  • 蓝桥杯 常用STL (C++) 未完待续
  • class id