Transformer在计算机视觉领域的研究综述

来源：计算机工程与应用杂志2023年第1期北京时间：

作者：李翔, 张涛, 张哲, 魏宏杨, 钱育蓉

单位：新疆大学 软件学院，乌鲁木齐 830002

摘要：Transformer是一种基于自注意力机制的深度神经网络。近几年，基于Transformer的模型已成为计算机视觉领域的热门研究方向，其结构也在不断改进和扩展，比如局部注意力机制、金字塔结构等。通过对基于Transformer结构改进的视觉模型，分别从性能优化和结构改进两个方面进行综述和总结；也对比分析了Transformer和CNN各自结构的优缺点，并介绍了一种新型的CNN+Transformer的混合结构；最后，对Transformer在计算机视觉上的发展进行总结和展望。

关键词：Transformer,卷积神经网络（CNN）,混合结构,计算机视觉,深度学习