《电子测量技术杂志》发表论文赏析

基于多特征融合的唇语识别模型

来源:电子测量技术杂志2025年第12期北京时间:

作者:张甜愉,吕博,周蓉,王琳,蒲梦杨

单位:华北电力大学控制与计算机工程学院 北京 102206

摘要:在单词级唇语识别研究中,使用三维卷积神经网络与残差网络的主流模型往往难以捕捉唇运动的几何动态,并且对细节依赖性高。为了缓解该问题,本文提出了一种基于多特征融合的端到端单词级唇语识别模型,该模型集成了像素级纹理细节特征、几何级轮廓形状特征和词边界特征,实现了从时间和空间、像素级与几何级等多个维度的特征融合。其中,纹理细节特征提供精细化的局部信息;轮廓形状特征反应唇部几何结构及动态变化;词边界特征则引导模型关注有效时间帧。此外,本文将空间通道注意力机制整合到3D CNN和ResNet-18中以增强纹理细节特征提取,并利用全局上下文网络对时空图卷积网络进行改进后将其引入模型以捕捉几何级轮廓形状特征。实验表明,输入为灰度视频时,本文模型在公开的大规模单词级唇语识别数据集LRW上的准确率达到89.3%,相较于相同条件下单一或部分特征模型提升1.3%~3.9%,且高于大部分现有模型,验证了所提模型的有效性;同时,实验发现,使用彩色视频作为输入时,模型准确率进一步提高,为89-7%,验证了色彩信息对唇语识别的影响。

关键词:单词级唇语识别;多特征融合;像素级纹理细节特征;几何级轮廓形状特征;时空图卷积神经网络

基金资助:国家自然科学基金(62301220)项目资助

2025年12期其他文献查阅:

基于国密SM2的H.264视频加密方案设计

基于无人机的光伏清洁机器人转运系统研究

扩展谐波法对CLLC变换器同步整流相位修正

一种无片外电容的低功耗瞬态增强LDO

基于行车风险场的弯道切入场景生成与分析

MEMS环形谐振陀螺驱动模态控制方法研究

磁通门直流互感器感应调制纹波传递特性研究

基于声学层析成像的密闭容器温度场重建

基于ConvNeXt和可变形交叉注意力的多模态3D目标检测方法

基于1D-CNN-SVM的下肢外骨骼步态信息识别研究

多电极注入地电流场接地阻抗特性研究

基于WTT-iTransformer时序预测的容器群伸缩策略研究

基于RCTLS-ADMM的UWB巷道内掘进机定位方法

多轴步进电机速度曲线算法的时分复用策略

基于弛豫电压曲线的磷酸铁锂电池模组SOH评估

基于车辆编队反馈控制器优化研究

基于RANSAC圆拟合改进算法的连接器位姿检测

基于光照度适应与小波融合的水下图像增强

基于LDF-YOLO的小目标检测方法

基于多特征融合的唇语识别模型

弹性呼吸监测传感器设计及其性能研究

基于CNN-BiGRU-Attention的脱硫系统出口二氧化硫动态预测模型

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!