融合局部特征增强感知的人-物交互检测算法

来源：计算机应用杂志2025年第11期北京时间：

作者：林峻屹, 陈明轩, 高永彬

单位：上海工程技术大学 电子电气工程学院，上海 201620

摘要：人-物交互（HOI）检测任务的核心在于识别图像中的人物和物体，并准确分类它们之间的交互关系，这对于深化场景理解至关重要；但现有算法在处理复杂关系时，由于缺乏局部信息导致错误关联，难以区分细粒度操作。因此，设计一种局部特征增强的感知模块（LFPM），通过结合局部和非局部特征的相互作用增强模型对局部特征信息的捕获能力。该模块包含了3个关键部分：降采样聚合分支模块（DAM）、细粒度特征分支（FGFB）模块以及多尺度小波卷积（MSWC）模块。其中，DAM通过降采样获得低频特征，聚合非局部结构信息；FGFB模块并行执行卷积操作，补充DAM对局部信息的提取；MSWC模块进一步在空间和通道维度上优化输出特征，使特征表达更加精细完整。此外，为解决Transformer在局部空间和通道特征挖掘方面的不足，引入空间和通道挤压注意力（scSE）模块。该模块在空间和通道维度上分配注意力，可增强模型对局部显著区域的敏感性，有效提升HOI检测的精度。最后整合LFPM、scSE以及Transformer架构构成局部特征增强感知模型（LFEP）框架。实验结果表明，与SQA（Strong guidance Query with self-selected Attention）算法相比，LFEP框架在V-COCO数据集上的平均精度（AP）提升了1.1个百分点，在HICO-DET数据集上的平均精度均值（mAP）提升了0.49个百分点，消融实验也验证了LEEP中各模块的有效性。

关键词：特征感知,多频率卷积,降采样聚合,端到端,人-物交互检测

基金资助：上海市地方能力建设项目(21010501500);上海市“科技创新行动计划”社会发展科技攻关项目(21DZ1204900)