当前位置: 首页 > news >正文

GPT-SoVITS语音合成模型部署及使用

1、概述

GPT-SoVITS是一款开源的语音合成模型,结合了深度学习和声学技术,能够实现高质量的语音生成。其独特之处在于支持使用参考音频进行零样本语音合成,即使没有直接的训练数据,模型仍能生成相似风格的语音。用户可以通过微调模型,进一步提升其性能,以适应特定的应用需求。

2、部署

(1)下载

项目地址:https://github.com/RVC-Boss/GPT-SoVITS

教程:GPT-SoVITS指南 · 语雀

试用demo:https://gsv.acgnai.top/

(2)依赖环境安装

1)安装conda,用于部署独立的python环境

2)新建conda环境,然后安装python3.9 / pytorch2.2.1

python需要安装cuda版本:https://pytorch.ac.cn/get-started/locally/

使用得到的conda命令进行安装。

3)安装ffmpeg

具体参考:Linux-centos下安装ffmpeg的详细(保姆级教程)教程无脑复制粘贴等待即可_linux centos 安装ffmpeg-CSDN博客

4)安装git

yum install git

yum install git-lfs

yum install rust

下载代码:git clone --depth=1 https://github.com/RVC-Boss/GPT-SoVITS

5)安装python依赖包

在GPT-SoVITS根目录下:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

(3)下载预训练模型

针对报错:

模型位于:https://huggingface.co/lj1995/GPT-SoVITS/tree/main

下载后放到GPT_SoVITS根目录/GPT_SoVITS/pretrained_models下,而不是GPT_SoVITS根目录/pretrained_models

目录结构如下:

(4)下载训练模型

cd xx/GPT-SoVITS/tools/asr/models

git lfs install 

git clone https://www.modelscope.cn/iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch.git

git clone https://www.modelscope.cn/iic/punc_ct-transformer_zh-cn-common-vocab272727-pytorch.git

git clone https://www.modelscope.cn/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch.git

3、程序运行

(1)推理操作

在GPT-SoVITS根目录下运行命令:

python webui.py zh_CN

切换到1C-推理模块:

点击“开启TTS推理WebUI”

后台执行日志如下:

"/data/work/anaconda3/envs/vits/bin/python" GPT_SoVITS/inference_webui.py "zh_CN"
<All keys matched successfully>
Number of parameter: 77.61M
Running on local URL:  http://0.0.0.0:9872
 

切换成9872端口:

然后上传3-10秒的参考音频(不上传会报错),填写需要合成的文本,点击“合成语音”。

后台执行日志参考如下:

(2)报错处理

ps:假如运行时报错如下,这是预训练模型没有下载,或者存放的位置不正确。

虽然程序可以打开了,但是linux服务器上报错如下,显示预训练模型没有加载。这样虽然界面打开了,但是功能将无法正常使用。

本文参考:GPT-SoVITS语音合成模型实践 - 哥不是小萝莉 - 博客园

http://www.lryc.cn/news/503298.html

相关文章:

  • springboot423玩具租赁系统boot(论文+源码)_kaic
  • 【收藏】Cesium 限制相机倾斜角(pitch)滑动范围
  • Jenkins流水线初体验(六)
  • Azure OpenAI 生成式人工智能白皮书
  • Ubuntu22.04安装docker desktop遇到的bug
  • LLMC:大语言模型压缩工具的开发实践
  • 基于阿里云Ubuntu22.04 64位服务器Java及MySql环境配置命令记录
  • 第一课【输入输出】(题解)
  • 查看 Linux 进程运行所在 CPU 内核
  • ESP32外设学习部分--SPI篇
  • Tomcat的下载和使用,配置控制台输出中文日志
  • MySQL不能被其他地址访问,授权问题解决(8.x,,5.x)
  • 四、个人项目系统搭建
  • CV(4)--边缘提取和相机模型
  • SORT算法详解及Python实现
  • 图计算之科普:BSP计算模型、Pregel计算模型、
  • pytest入门一:用例的执行范围
  • 22. 正则表达式
  • Flink Python作业快速入门
  • 自定义函数库
  • FreeRTOS例程2-任务挂起恢复与使用中断遇到的坑!
  • L23.【LeetCode笔记】验证回文串(剖析几种解法)
  • FPGA 17 ,FPGA 与 SR-IOV虚拟化技术,高性能计算与虚拟化技术的结合(FPGA 与 SR-IOV 和 PCI,高性能计算与虚拟化的完美融合)
  • 解决navicat 导出excel数字为科学计数法问题
  • [Unity] AppLovin Max接入Native 广告 Android篇
  • Source Insight 4.0的安装
  • 远程调试软件对比与使用推荐
  • 鸿蒙项目云捐助第二讲鸿蒙图文互动基本程序实现
  • 求解球面的一组正交标架
  • php.ini 文件上传/执行时间/部分配置新手教程