基于双模态门控特征融合的跌倒检测方法

来源：计算机测量与控制杂志2024年第10期北京时间：

作者：郭夏迪,曹炳尧

单位：上海大学特种光纤与光接入网重点实验室

摘要：使用单一传感器进行人体跌倒检测的方法不能充分捕捉动作特征,摄像头在光线较差时无法获得高质量图像,毫米波雷达的点云稀疏性降低了远距离目标信息的有效性；针对上述问题,提出了一种基于双模态门控特征融合的跌倒检测方法；使用雷达和摄像头同步检测,雷达分支根据时间-距离图和微多普勒图获得融合特征,视觉分支提取目标的光学特征；将两种特征送入门控融合模块,根据权重整合特征信息,在输出层实现分类；设计了雷达分支和整体网络的相关实验,雷达分支融合方法的平均准确率是91.7%,优于单一特征方法；整体网络的门控融合方法的准确率是94.1%,相比特征相加融合和首尾拼接融合方法分别高出3.0%和1.8%；充分表明该方法能够提升人体跌倒检测的性能。

关键词：毫米波雷达;视觉;双模态;特征融合;门控融合;跌倒检测

基金资助：上海市科委项目