结合CSWin-Transformer和门卷积的壁画图像修复方法

来源：计算机工程与应用杂志2024年第21期北京时间：

作者：徐志刚, 杨欣宇

单位：兰州理工大学 计算机与通信学院，兰州 730050

摘要：敦煌壁画是珍贵的文化遗产，但现存壁画存在着大量破损现象。针对现有图像修复方法在处理敦煌壁画时面临着计算复杂度高、纹理模糊和特征提取不足等问题，提出了一种结合CSWin-Transformer（cross stripe window-Transformer）和门卷积的壁画图像修复方法。构建由全局层网络和局部层门卷积残差密集网络组成的并行网络，利用条纹窗口增强图像特征提取能力，并通过门卷积残差块提升结构纹理修复的准确性。设计全局-局部特征融合模块来融合全局层和局部层输出的特征图像，以保持修复结果整体的一致性。通过建立共享注意力机制实现全局层和局部层之间的信息交互，同时为了完成破损壁画的修复，采用谱归一化马尔科夫判别模型进行对抗训练。通过对真实破损壁画的修复实验，结果表明，所提方法在主客观指标上均优于所对比的方法。

关键词：深度学习,壁画修复,门卷积,CSWin-Transformer,全局-局部特征融合