基于时空特征一致性的Deepfake视频检测模型

摘要

针对目前大部分研究仅关注Deepfake单幅图像的空间域特征而设计检测模型的问题,以Deepfake视频中人物面部表情变化存在细微的不一致、不连续等现象为出发点,提出一种基于时空特征一致性的检测模型.该模型使用卷积神经网络对待检测图像提取空域特征,利用光流法在待检测图像的连续帧间进行时域特征的捕获,同时利用卷积神经网络对时域特征进行深层次特征提取,在时域特征和空域特征经过多重的特征变换后,使用全连接神经网络对空域特征和时域特征的组合空间进行分类实现检测目标.将本文提出的模型在Faceforensics++开源Deepfake数据集上开展模型的训练,并对模型的检测效果进行实验验证.实验结果表明,本文模型的检测准确率可达98.1％,AUC值可达0.9981.通过与现有的Deepfake检测模型进行对比,本文模型在检测准确率和AUC取值方面均优于现有模型,验证了本文模型的有效性.