基于视觉对比注意力的隐式文本图像细粒度匹配
来源：计算机应用与软件杂志2025年第7期北京时间：
作者：殷亚珏, 王晶晶
摘要：文本图像细粒度匹配任务旨在对齐图片和文本中的细粒度实体部分(例如:对齐图片中的目标对象与文本中涉及的短语)。与以往研究不同,该文提出一种新的面向隐式场景的文本图像细粒度匹配任务,该任务专注于处理需要依赖上下文语境或更多外部知识才能够识别出细粒度匹配关系的文本-图片。特别地,针对该新任务,制定相应的语料标注规范,并标注一个面向隐式场景的文本图像细粒度匹配数据集。在此基础上,提出一种基于视觉对比注意力的方法,用于缓解该新任务存在的语义匹配信息稀疏问题。实验结果表明,提出的视觉对比注意力的方法在隐式匹配任务上取得了显著的性能提升。
关键词：细粒度, 隐式场景, 视觉对比注意力
