基于人体骨架信息的行为检测系统设计

来源：计算机测量与控制杂志2023年第1期北京时间：

作者：雷振轩

单位：西安建筑科技大学 信息与控制工程学院

摘要：为了解决现有行为检测系统中依赖惯性传感器、检测结果不够准确的问题,设计了基于人体骨架信息的行为检测系统；系统采用Jetson Nano人工智能计算设备作为主控模块,结合图像采集模块、显示模块和以Atmega328单片机为主的报警模块构成；系统利用图像采集模块采集行为视频信息,通过主控模块中的行为检测器对视频中人体行为进行检测,报警模块通过串口接收检测结果并对危险行为进行预警；同时,利用人体骨架的关节空间运动幅度、肢体关联差异,建立了关节帧间位移矢量和骨骼夹角变化的关节行为模型,再借助长短时记忆网络提取行为特征,并训练实时行为检测器；经实验测试,该系统能够有效检测常见的人体行为并对危险行为类别进行报警提示。

关键词：行为检测;关节行为模型;长短时记忆网络;Jetson Nano;单片机

基金资助：陕西省重点研发计划社会发展领域项(2022SF-242)