当前位置：首页 > news >正文

【AI数字人】如何基于DINet+Openface自训练AI数字人

news 2025/7/19 0:10:11

文章目录

- OpenFace
- - 环境配置
  - 提取特征
  - 特征处理
- DINet
- - 推理
  - 数据前处理
  - 训练
  - - frame training stage
    - clip training stage
- 参考

DINet训练/推理过程中需要用到OPenFace的人脸数据，所以使用DINet训练定制数字人，需要配置OPenFace和DINet两个项目的环境。我是使用conda创建了一个dinet的虚拟环境，DINet项目中需要的TensorFlow和pytorch版本比较低，python版本选择3.7。

DINet项目的环境配置比较简单，pip install -r requirements.txt即可，由于cuda的版本为10.1，A800不支持10.1，遂将pytorch卸载，重新下载安装1.13的pytorch和11.6的cuda。

OpenFace

OPenFace的环境配置比较麻烦，一开始我使用docker安装，但是docker里面的基础配置太低，很多包和库没办法兼容，升级也比较麻烦，不建议用docker。在我创建的dinet虚拟环境中，参考install.sh中的步骤，安装成功。

环境配置

首先需要下载模型，运行download_models.sh，服务器下载链接超时，不能够下载。我自己先按照download_models.sh中的网址，单独下载，然后上传服务器，将下载的模型放在lib/local/LandmarkDetector/model/patch_experts目录下。
conda创建虚拟环境时，已经安装了gcc和g++，g++ -c和gcc -v 查看版本，不需要进行cmake的编译安装。为了后续的依赖能成功编译，先安装OpenBLAS和Boost。

sudo apt-get install libopenblas-dev # openblas
sudo apt-get install libboost-all-dev # boost

安装opencv

sudo apt-get -y install libopenblas-dev liblapack-dev
sudo apt-get -y install libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev
sudo apt-get -y install libtbb2 libjpeg-dev libpng-dev libtiff-dev libdc1394-22-dev
wget https://github.com/opencv/opencv/archive/4.1.0.zip
unzip 4.1.0.zip
cd opencv-4.1.0
mkdir -p build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_IN