虚幻引擎 | 实时语音转口型 Multilingual lipsync

实时语音转口型：EPIC的metahuman sdk，NVIDIA的audio2face，都好。本文使用metahuman sdk

需要工具：Metahuman SDK网页账号，获取两日免费tokens

https://space.metahumansdk.io/#/unauthorized

————————————————————正文开始————————————————

runtime文字转语音 节点！！！

https://docs.metahumansdk.io/metahuman-sdk/reference/metahumansdk-unreal-engine-plugin/text-to-speech

Runtime语音转Lipsync 节点！！！

语音效果
(1)google 谷歌引擎

⑥cmn-CN-Wavenet-C:男机器声(感觉这个最好)

(2)azure 引擎（效果比谷歌的更好）
普通话：

②zh-CN-XiaohanNeural 女声（声音比①好听）

③zh-CN-XiaohuangNeural 萝莉音

④zh-CN-XiaoxiaoNeural:好听的小姐姐的声音
————————————————

版权声明：语音效果部分为博主码农烧烤趴原创文章，原文链接👇

UE5中插件MetaHumanSDK的使用_metahuman sdk-CSDN博客

总结！！！：

文字实时聊天：chatgpt / 文心一言千帆  （openAI API）VArest

文字转语音：讯飞 / elevenlabs   /metahuman sdk

语音转lipsync：metahuman sdk / audio2 face