TANGO - 数字人全身动作生成
文章目录
- 一、关于 TANGO
- 演示视频（YouTube）
- 📝发布计划
- 二、⚒️安装
- 克隆存储库
- 构建环境
- 三、🚀训练和推理
- 1、推理
- 2、为自定义字符创建图形
一、关于 TANGO
TANGO 是 具有分层音频运动嵌入 和 扩散插值的共语音手势视频再现
由东京大学和 CyberAgent AI Lab 联合开发
- github : https://github.com/CyberAgentAILab/TANGO
- 官网：https://pantomatrix.github.io/TANGO/
- huggingface 试用： https://huggingface.co/spaces/H-Liu1997/TANGO
- paper : https://arxiv.org/abs/2410.04221
- YouTube : https://www.youtube.com/watch?v=_DfsA11puBc
参考文章：开源版Heygen！TANGO数字人，瞄准全身动作生成，本地部署实测
https://mp.weixin.qq.com/s/3br-2dP2GmrhqqHY4cbpmg
演示视频（YouTube）
https://youtu.be/xuhD_-tMH1w?si=Tr6jHAhOR1fxWIjb
📝发布计划
- AuMoClip和ACInterp的训练代码
- ACInterp的推理码
- 处理YouTube商业视频数据（非常小，约15分钟）
- 创建手势图的脚本
- 带有AuMoClip和预训练权重的推理码
二、⚒️安装
克隆存储库
git clone https://github.com/CyberAgentAILab/TANGO.git
cd TANGO
git clone https://github.com/justinjohn0306/Wav2Lip.git
git clone https://github.com/dajes/frame-interpolation-pytorch.git
构建环境
我们推荐一个python版本==3.9.20和cuda版本==11.8。然后构建环境如下：
# [Optional] Create a virtual env
conda create -n tango python==3.9.20
conda activate tango
# Install with pip:
pip install -r ./pre-requirements.txt
pip install -r ./requirements.txt
三、🚀训练和推理
1、推理
这是在路径<your root>/TANGO/下运行推理脚本的命令，生成两个8s vido大约需要3分钟。您可以通过直接检查视频或使用我们在EMAGE中的搅拌机插件通过搅拌机检查结果. npz文件来可视化。
第一次运行时将自动下载必要的检查点和预先计算的图表。请确保至少有35GB的磁盘空间可用。
python app.py
2、为自定义字符创建图形
python create_graph.py
2025-01-06（一）