卷积时间注意力与多尺度信息学习的人体行为检测方法

来源：计算机工程与应用杂志2026年第2期北京时间：

作者：孟月波, 陈廷廷, 杨逍

单位：1.西安建筑科技大学 信息与控制工程学院，西安 710055；2.建筑机器人陕西省高等学校重点实验室，西安 710055；

摘要：人体行为检测旨在精准定位视频中人员的空间位置，并有效识别其执行的各类动作。针对因动作变化细微以及不同动作表征相似所导致的行为检测不准确的问题，提出了卷积时间注意力与多尺度信息学习的时空动作检测网络（CTAMIL-Net）。设计一种多尺度信息学习2D网络（MSILN），采用异尺度卷积层从关键帧中抽取不同粒度的特征信息，并通过注意力特征融合模块（AFF）自适应地聚合高级语义与低级细节特征，以捕获目标外观特征，感知动作的细微变化；提出一种3D卷积时间注意力（3D-CTA），分别从帧间、帧内捕获短-长时时间依赖关系，并利用3D主干网络（3D-ResNext-101）挖掘更具判别性的目标运动特征，共同提升对相似动作的区分度；采用特征融合检测头将2D外观特征和3D运动特征语义交互并得出动作检测结果。实验结果表明，该算法与现有先进方法在公共动作检测数据集UCF24、AVA和自建热不适动作数据集TDA上均取得了较好的性能结果，能够准确检测出热环境中的热不适动作，如扇风、穿衣脱衣等，验证了所提方法在以热不适动作检测为典型应用场景中的有效性，为复杂环境下的人体行为检测提供了新的解决方案。

关键词：热不适动作（TDA）,动作检测,3D卷积时间注意力,多尺度信息学习

基金资助：国家自然科学基金面上项目（52278125）。