【ViT+Dis】Deepfake Detection Scheme Based on Vision Transformer and Distillation
文章目录
- Deepfake Detection Scheme Based on Vision Transformer and Distillation
- key points
- 深伪检测
- 检测算法
- 蒸馏法与教师网络
- 实验
- 训练：
- 参数
- 总结
Deepfake Detection Scheme Based on Vision Transformer and Distillation
会议：2021
作者：
key points
以往基于CNN结构的研究不仅存在过拟合的问题，而且存在对假视频与真实视频的严重误判。
本文提出了一个ViT模型与蒸馏方法来检测假视频，并设计了一个基于CNN特征和补丁的定位模型，学习与所有位置的交互来找到伪影【解决假阴性问题】
通过对Deepfake Detection (DFDC)数据集的对比分析，我们验证了以patch嵌入作为输入的方案优于使用组合CNN特征的最新方案。
向VIT添加了一个蒸馏令牌，并将补丁嵌入和CNN特征一起用于模型输入，以创建用于深度伪造检测的更广义的模型