手机端多模态低头族危险感知与预警

来源：电子测量技术杂志2024年第9期北京时间：

作者：金磊，吉翔，邓丽云，徐少杰，王晗

单位：南通大学交通与土木工程学院 南通 226019

摘要：随着智能手机产品的发展与畅销，不分场合随时玩手机的低头族大量涌现；针对低头族依赖手机导致道路交通事故频发问题，提出一种基于手机端多模态低头族危险感知与预警系统。首先，利用手机端的重力加速度基于模糊控制规则实时监测行为，包括：走路看手机、上下楼梯看手机、静止看手机、手持手机走路、手机揣兜走路；然后，使用手机后视摄像机图像基于分组快速空间金字塔池化的轻量化YOLO网络实时描述用户周围环境，包括：楼梯、斑马线、低照明环境、积水坑、正常路面。最后，面向安卓系统构建状态环境多模态低头族危险判定模型；并根据判定结果利用声音、画面、震动信号给予低头族听觉、视觉、触觉立体式预警信号；减少低头族跌伤、碰撞等潜在危险。在线实验表明，本文提出的手机端多模态低头族危险感知模型准确性高、鲁棒性强、实时性好，能够针对低头族常见的危险状态实现有效的主动预警。

关键词：低头族危险感知与预警;移动手机终端;多模态判定模型;重力加速度传感器;后视摄像头

基金资助：国家自然科学基金面上项目（61872425）资助