基于集成学习双流神经网络的实时面部篡改视频检测模型

来源：计算机工程与科学杂志2023年第3期北京时间：

作者：袁野, 黄丽清, 叶锋, 黄添强, 罗海峰, 徐超,

单位：1.福建师范大学计算机与网络空间安全学院，福建 福州 350117；2.数字福建大数据安全技术研究所，福建 福州 350117；3.福建省公共服务大数据挖掘与应用工程技术研究中心，福建 福州 350117

摘要：恶意面部篡改对社会安全和稳定存在负面影响，对面部篡改后的视频图像进行准确的检测是一个十分重要的课题。为了解决视频检测模型实时性较差的问题，提出一种基于集成学习双流循环神经网络的面部篡改视频检测模型，并引入集成学习中的投票机制。首先,接收少量连续的序列帧，通过卷积神经网络进行空间特征的提取，同时引入中心差分卷积进行空间域的篡改伪影增强。然后，将连续的序列帧进行差分，以增强时间域上的篡改伪影，同时通过卷积神经网络进行时间特征的提取。随后，将空间域和时间域的双流特征向量进行拼接，通过循环神经网络进行特征提取。在循环神经网络特征提取过程中，逐帧的特征信息被保留下来作为后续辅助帧级分类器的输入，同时循环神经网络的最终输出作为视频级判别器的输入。最后，引入集成模型的投票机制整合多个辅助帧级判别器和视频级判别器的输出，并通过引入权重超参数γ来平衡辅助帧级判别器和视频级判别器的重要程度，帮助模型提高检测准确率。在FaceForensics++数据集上，与主流检测模型进行对比，所提模型平均准确率提升了0.4%和1.0%。同时，所提模型可以仅使用较少连续帧进行篡改检测，提高了模型的实时性。

关键词：Deepfake,卷积神经网络,循环神经网络,投票机制,中心差分卷积,

基金资助：国家自然科学基金(62072106)；福建省自然科学基金(2020J01168，2022J01190，2022J01188)；福建省高校产学合作项目（2021H6004）；福建省中青年教师教育科研项目（JAT210053，JAT210051）