视觉Transformer在低级视觉领域的研究综述

来源：计算机工程与应用杂志2024年第4期北京时间：

作者：朱凯, 李理, 张彤, 江晟, 别一鸣

单位：1. 长春理工大学 物理学院，长春 130022 ；2. 长春理工大学中山研究院 光电/生物纳米检测与制造中心，广东 中山 528437；3. 长春理工大学 电子信息工程学院，长春 130022；4. 吉林大学 交通学院，长春 130012

摘要：Transformer是一种革命性的神经网络模型架构，最初为自然语言处理而设计，但其由于卓越的性能，在计算机视觉领域获得了广泛的应用。虽然关于Transformer在自然语言处理领域的应用有大量的研究和文献，但针对低级视觉任务的综述相对匮乏。简要介绍了Transformer的原理并分析归纳了几种变体。在低级视觉任务的应用方面，将重点放在图像恢复、图像增强和图像生成这三个关键领域。通过详细分析不同模型在这些任务中的表现，探讨了它们在常用数据集上的性能差异。对Transformer在低级视觉领域的发展趋势进行了总结和展望，提出了未来的研究方向，以进一步推动Transformer在低级视觉任务中的创新和发展。这一领域的迅猛发展将为计算机视觉和图像处理领域带来更多的突破，为实际应用提供更加强大和高效的解决方案。

关键词：Transformer,深度学习,注意力机制,计算机视觉,低级视觉任务