当前位置: 首页 > news >正文

kantts docker化

kan-tts docker本地化

环境安装

下载docker镜像(python3.8的)

registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.2

安装基础模型

pip install modelscope

安装语音模型

pip install "modelscope[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

自动标注

安装最新版tts-autolabel

# 运行此代码块安装

tts-autolabel import sys !{sys.executable} -m pip install -U tts-autolabel -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

如果网不行,指定阿里镜像源

!{sys.executable} -m pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

自动标注

from modelscope.tools import run_auto_labelinput_wav = "./test_wavs/"
output_data = "./output_training_data/"ret, report = run_auto_label(input_wav=input_wav, work_dir=output_data, resource_revision="v1.0.7")

微调

from modelscope.metainfo import Trainers
from modelscope.trainers import build_trainer
from modelscope.utils.audio.audio_utils import TtsTrainTypepretrained_model_id = 'damo/speech_personal_sambert-hifigan_nsf_tts_zh-cn_pretrain_16k'dataset_id = "./output_training_data/"
pretrain_work_dir = "./pretrain_work_dir/"# 训练信息,用于指定需要训练哪个或哪些模型,这里展示AM和Vocoder模型皆进行训练
# 目前支持训练:TtsTrainType.TRAIN_TYPE_SAMBERT, TtsTrainType.TRAIN_TYPE_VOC
# 训练SAMBERT会以模型最新step作为基础进行finetune
train_info = {TtsTrainType.TRAIN_TYPE_SAMBERT: {  # 配置训练AM(sambert)模型'train_steps': 202,               # 训练多少个step 'save_interval_steps': 200,       # 每训练多少个step保存一次checkpoint'log_interval': 10               # 每训练多少个step打印一次训练日志}
}# 配置训练参数,指定数据集,临时工作目录和train_info
kwargs = dict(model=pretrained_model_id,                  # 指定要finetune的模型model_revision = "v1.0.6",work_dir=pretrain_work_dir,                 # 指定临时工作目录train_dataset=dataset_id,                   # 指定数据集idtrain_type=train_info                       # 指定要训练类型及参数
)trainer = build_trainer(Trainers.speech_kantts_trainer,default_args=kwargs)trainer.train()

其中

pretrained_model_id = 'damo/speech_personal_sambert-hifigan_nsf_tts_zh-cn_pretrain_16k'

要下载下来

最好提取下载,然后pretrained_model_id后面就等于下面下载的地址

# 克隆预训练模型

git clone https://www.modelscope.cn/damo/speech_personal_sambert-hifigan_nsf_tts_zh-cn_pretrain_16k.git

拉取下来,然后合成

合成模型

import os
from modelscope.models.audio.tts import SambertHifigan
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasksmodel_dir = os.path.abspath("./pretrain_work_dir")custom_infer_abs = {'voice_name':'F7','am_ckpt':os.path.join(model_dir, 'tmp_am', 'ckpt'),'am_config':os.path.join(model_dir, 'tmp_am', 'config.yaml'),'voc_ckpt':os.path.join(model_dir, 'orig_model', 'basemodel_16k', 'hifigan', 'ckpt'),'voc_config':os.path.join(model_dir, 'orig_model', 'basemodel_16k', 'hifigan','config.yaml'),'audio_config':os.path.join(model_dir, 'data', 'audio_config.yaml'),'se_file':os.path.join(model_dir, 'data', 'se', 'se.npy')
}
kwargs = {'custom_ckpt': custom_infer_abs}model_id = SambertHifigan(os.path.join(model_dir, "orig_model"), **kwargs)inference = pipeline(task=Tasks.text_to_speech, model=model_id)
output = inference(input="今天的天气真不错")import IPython.display as ipd
ipd.Audio(output["output_wav"], rate=16000)

参考地址:

环境安装

SambertHifigan个性化语音合成-中文-预训练-16k

http://www.lryc.cn/news/191157.html

相关文章:

  • Axure RP医疗在线挂号问诊原型图医院APP原形模板
  • Vuex的基础使用存值及异步
  • git 重置到某次提交
  • Delphi 生成包含图片的 HTML 文件并使用 Edge 浏览器打开
  • 凉鞋的 Godot 笔记 108. 第二个通识:增删改查
  • AI Web3 盛会「EDGE」在港闭幕,融云国际影响力持续提升
  • 启动Spring Boot项目
  • 竞赛选题 深度学习 机器视觉 车位识别车道线检测 - python opencv
  • axios调用springboot项目接口获取数据简述版
  • MPP 架构在 OLAP 数据库的运用
  • 什么影响香港服务器的速度原因
  • HTML复习笔记
  • 「五度情报站」网罗全量企业情报,找客户、查竞品、寻商机!
  • Ubuntu 22.04‘Temporary failure resolving‘ 解决方案
  • 移动电源被亚马逊下架怎么办?UL2056认证解析
  • ssm+vue的课程网络学习平台管理系统(有报告)。Javaee项目,ssm vue前后端分离项目。
  • 10月13日上课内容 Ansible 的脚本 --- playbook 剧本
  • 碰撞检测算法——分离轴算法在Unity中实现(二)
  • 04在命令行中使用Maven命令创建Maven版的Web工程,并将工程部署到服务器的步骤
  • 什么是指标体系,怎么搭建一套完整的指标体系?(附PDF素材)
  • Windows提权方法论
  • 推荐系统领域,over-uniform和oversmoothing问题
  • 360测试开发技术面试题目
  • 智能井盖传感器扣好“城市纽扣”,让市民脚下更有安全感
  • 1 随机事件与概率
  • 计算机视觉--通过HSV和YIQ颜色空间处理图像噪声
  • WPF中prism模块化
  • MyBatis基础之注解与SQL 语句构建器
  • Spring Boot项目搭建流程
  • VSCode插件开发之contributes和命令