Sinkhorn全局优化下区域单词对齐的开放词汇目标检测

来源：计算机工程与应用杂志2026年第14期北京时间：

作者：谢斌红, 郭良, 张睿, 张英俊

单位：太原科技大学 计算机科学与技术学院，太原 030024；

摘要：针对现有开放词汇目标检测（open vocabulary object detection，OVOD）方法存在基类定位偏向性与类内多实例欠学习问题，提出了一种Sinkhorn全局优化下区域-单词对齐的开放词汇目标检测方法（RWAS），该方法包括类别语义增强（category semantic enhancement attention，CSEA）模块和区域-单词柔性匹配（flexible matching of regions to words，FMRW）模块。具体而言，针对区域提议网络（RPN）生成的提议偏向于基类的问题，CSEA模块以类别嵌入为查询，引导RPN关注并增强新类视觉特征，从而提高新类召回率。针对硬匹配导致类内多实例欠学习问题，FMRW模块将区域-单词匹配任务建模为最优传输问题，其核心在于从全局视角揭示区域-单词间的内在关联，而非局限于局部相似性；利用Sinkhorn算法的柔性匹配特性，为同一单词匹配多个区域，实现跨实例的判别性表征学习，进而提高模型对类内多实例场景的检测鲁棒性。实验结果表明，所提出的方法相较于基线模型在OV-COCO数据集上AP提升了2.7个百分点，在OV-LVIS数据集上mAP提升了2.9个百分点，验证了该方法的有效性与合理性。

关键词：开放词汇目标检测（OVOD）,区域单词对齐,区域提议网络,Sinkhorn距离,最优传输（OT）

基金资助：山西省基础研究计划项目（面上）（20210302123216）；吕梁市引进高层次科技人才重点研发项目（2022RC08）；山西省产教融合研究生联合培养示范基地项目（2022JD11）。