视觉Transformer在细粒度图像分类中的应用综述

来源：计算机工程与应用杂志2025年第23期北京时间：

作者：温世雄, 智敏

单位：内蒙古师范大学 计算机科学技术学院，呼和浩特 010022

摘要：细粒度图像分类（fine-grained image classification，FGIC）旨在识别视觉上高度相似但存在细微差异的子类别。随着深度学习的快速发展，FGIC算法已由传统强监督学习逐步发展至弱监督学习。视觉Transformer（ViT）凭借其多头自注意力机制，无须依赖手工标注，同时克服了基于卷积神经网络（CNN）算法在感受野和全局建模能力上的局限性，成为该任务的主流方法之一。对FGIC的特点与难点进行概述，简要介绍ViT的基本架构及其优势。根据不同的特征融合策略将基于ViT的改进算法分成层次、多局部及多粒度三种特征融合方法，对每类方法的改进方式进行详细的图示说明，并对各类技术方法的机制进行详细阐述和总结分析。梳理了常用的公开数据集，并根据当前研究的局限性提出未来的研究方向，以进一步挖掘ViT在细粒度图像分类任务中的应用潜力。

关键词：细粒度图像分类（FGIC）,视觉Transformer（ViT）,特征融合