Face Forgery Detection by 3D Decomposition

Face Forgery Detection by 3D Decomposition

会议：CVPR2021
作者：

研究背景

• 面部伪造引发关注
• 传统面部伪造检测主要关注原始RGB图像

研究目标

将图像可逆地分解为几个组成元素，可突出隐藏的伪造细节

将人脸图像看作是底层三维几何和光照环境相互作用的产物，并在计算机图形视图中对其进行分解

通过将人脸图像分解为三维形状、普通纹理、身份纹理、环境光和直射光，我们发现问题的关键在于直射光和身份纹理

创新点

1.利用直接光线与身份纹理相结合的面部细节作为线索来检测微妙的伪造图案
2.利用监督注意机制来突出被操纵区域，并引入双流结构来同时利用人脸图像和面部细节作为多模态任务

方法

1.论文提出将面部图像分解为3D形状、共同纹理、身份纹理、环境光和直接光。
2.通过这种分解，研究者发现直接光和身份纹理中隐藏着关键的伪造线索。
3.提出了利用面部细节（直接光和身份纹理的组合ÿ