遥感场景理解中视觉Transformer的参数高效微调

来源：电子与信息学报杂志2024年第9期北京时间：

作者：尹文昕, 于海琛, 刁文辉, 孙显, 付琨

单位：1.中国科学院空天信息创新研究院 北京 1001902.中国科学院大学电子电气与通信工程学院 北京 1000493.中国科学院空天信息创新研究院网络信息体系技术科技创新重点实验室 北京 100190

摘要：随着深度学习和计算机视觉技术的飞速发展，遥感场景分类任务对预训练模型的微调通常需要大量的计算资源。为了减少内存需求和训练成本，该文提出一种名为“多尺度融合适配器微调(MuFA)”的方法，用于遥感模型的微调。MuFA引入了一个多尺度融合模块，将不同下采样倍率的瓶颈模块相融合，并与原始视觉Transformer模型并联。在训练过程中，原始视觉Transformer模型的参数被冻结，只有MuFA模块和分类头会进行微调。实验结果表明，MuFA在UCM和NWPU-RESISC45两个遥感场景分类数据集上取得了优异的性能，超越了其他参数高效微调方法。因此，MuFA不仅保持了模型性能，还降低了资源开销，具有广泛的遥感应用前景。

关键词：遥感图像, 场景分类, 参数高效, 深度学习

基金资助：国家重点研发计划(2022ZD0118401)