一种多模态融合与边界感知的篡改图像检测网络

来源：计算机工程与应用杂志2026年第14期北京时间：

作者：杨刚, 芦天亮, 张开昕, 胡驷驹, 丁博文

单位：中国人民公安大学 信息网络安全学院，北京 100038；

摘要：针对现有图像篡改检测方法因依赖单一且融合机制简单的辅助模态，导致其对后处理操作鲁棒性不足，且边界监督策略难以有效感知复杂场景下隐式篡改边界的问题，提出一种多模态融合与边界感知的篡改图像检测网络（multi-modal fusion and boundary-aware network，MMBAN），用于提升篡改区域检测的准确性与模型在复杂场景下的适应能力。设计了多模态融合模块，将RGB图像与噪声指纹（NoisePrint++）、空域富模型（spatial rich model，SRM）和离散余弦变换（discrete cosine Transform，DCT）三种模态特征进行联合建模，以丰富伪造线索的表征。在编码器阶段设计了跨域融合模块，结合大核卷积注意力与交叉注意机制，加强RGB模态和混合模态间的互补信息交互；提出了边界感知模块，融合多尺度信息与空间注意机制，提升模型对篡改边缘区域的感知能力。为验证所提模型的优越性，在领域内多个公开篡改图像数据集进行了实验。实验结果表明，定位任务中，其固定阈值下的平均F1分数达到0.651，高于次优模型的0.624；在检测任务中模型的bAcc指标在5个数据集中也均为最优或次优，平均得分为0.760，优于现有主流模型。

关键词：图像处理,图像篡改检测,多模态融合,边界监督,多尺度特征交互

基金资助：2024年度北京市社科基金规划项目（24FXC017）；公安行业大模型研究与应用实验室项目（2024300050036）。