Conditional HOTR:基于 Transformer 的人物交互检测

来源：计算机技术与发展杂志2023年第08期北京时间：

作者：张诗凡;叶海波

单位：南京航空航天大学 计算机科学与技术学院,江苏 南京 211106 Author(s): ZHANG Shi-fan;YE Hai-bo School of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China 关键词: 人物交互检测;计算机视觉;Transformer;查询嵌入;交互点 Keywords: human-object interaction detection;computer vision;transformer;query embedding;interaction point 分类号: TP391. 4 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 08. 004 摘要: 人物交互检测任务( HOI 任务) 旨在检测出图片中所有存在交互关系的人和物,最后得到这样形式的三元组。 一般的方法包括两阶段和一阶段算法,最近一些工作提出的基于 transformer 的 HOI 检测方法使整个管道变得更加简单。 对于已有的检测模型 HOTR,旨在优化其内部 transformer 结构,使其更好地适应 HOI 检测任务。 对于其中用于交互检测的交互解码器,根据其交互查询嵌入分别生成了人和物的参考点,并以此设计了交互点生成公式,然后利用交互点的信息设计了条件交互查询,将其作为位置嵌入与内容嵌入相加得到 query,最后与 key 点乘进行注意力计算。 这有助于 transformer 显式地定位与交互相关的区域,缩小搜索范围并缓解对内容嵌入的依赖。 最终,在基准数据集 V-COCO 和HICO-DET 上,mAP 分别提升了 2. 13 百分点和 8. 33 百分点,并且精度在 V-COCO 数据集上达到了目前最优。 Abstract: Human-object interaction task ( HOI) aims to detect all triplets in the image that exist interaction relationships. General methods contain two-stage?algorithm and one-stage algorithm. Some recent work has proposed a transformer-basedHOI inspection approach that makes the whole pipeline much simpler. For the existing detection model HOTR,we aim to optimize itsinternal structure of transformer to better adapt to the HOI detection task. For the interaction decoder used for interaction detection,wegenerate the reference points of humans and objects according to its interaction query embeddings,?and design the interaction pointsgeneration formula. Then,we use the information of the interaction points to design the conditional interaction query,which?is seen as theposition embedding and added to the content embedding to obtain the query,and do dot multiplication with the key finally. It helps tolocate the interaction - related region explicitly, which narrows the search range and ease the dependence on content embedding. Weperform the experiments based on HOTR,with the mAP gain of 8. 33% on HICO - DET and 2. 13% on V - COCO, and the mAP iscurrently SOTA on the V-COCO dataset.

摘要：人物交互检测任务( HOI 任务) 旨在检测出图片中所有存在交互关系的人和物,最后得到这样形式的三元组。 一般的方法包括两阶段和一阶段算法,最近一些工作提出的基于 transformer 的 HOI 检测方法使整个管道变得更加简单。 对于已有的检测模型 HOTR,旨在优化其内部 transformer 结构,使其更好地适应 HOI 检测任务。 对于其中用于交互检测的交互解码器,根据其交互查询嵌入分别生成了人和物的参考点,并以此设计了交互点生成公式,然后利用交互点的信息设计了条件交互查询,将其作为位置嵌入与内容嵌入相加得到 query,最后与 key 点乘进行注意力计算。 这有助于 transformer 显式地定位与交互相关的区域,缩小搜索范围并缓解对内容嵌入的依赖。 最终,在基准数据集 V-COCO 和HICO-DET 上,mAP 分别提升了 2. 13 百分点和 8. 33 百分点,并且精度在 V-COCO 数据集上达到了目前最优。

关键词：人物交互检测;计算机视觉;Transformer;查询嵌入;交互点