Transformer在域适应中的应用研究综述

来源：计算机工程与应用杂志2024年第13期北京时间：

作者：陈健威, 俞璐, 韩昌芝, 李林

单位：中国人民解放军陆军工程大学 通信工程学院，南京 210000

摘要：作为迁移学习的重要分支，域适应旨在解决传统机器学习算法在训练样本和测试样本服从不同数据分布时性能急剧下降的问题。Transformer是基于自注意力机制的深度学习框架，具有强大的全局特征提取能力和建模能力，近年来Transformer与域适应相结合也成为研究的热点。虽然已有大量相关方法问世，但Transformer应用在域适应的综述却未见报道。为了填补这个领域的空白，为相关研究提供借鉴和参考，对近年来出现的一些基于Transformer的典型域适应方法进行归纳总结与分析，概述域适应的相关概念与Transformer的基本结构，从图像分类、图像语义分割、目标检测、医学图像分析四个应用梳理了各种基于Transformer的域适应方法，对图像分类下的域适应方法进行比较，总结当前域适应Transformer模型存在的挑战并探讨未来可行的研究方向。

关键词：域适应,迁移学习,Transformer,自注意力机制,深度学习