基于注意力增强的跨模态多层融合网络的物体位姿估计

来源：浙江大学学报·工学版杂志2026年第9期北京时间：

作者：杨恒,王韶涵,董青,赵科渊,杨明亮

单位：太原科技大学 机械工程学院，山西 太原 030024

摘要：提出鲁棒的端到端6D位姿估计网络. 利用层次化特征融合机制，使得RGB-D数据有效融合. 网络通过注意力增强模块提取像素级特征，通过多尺度网络对融合后的像素级多模态特征进行处理，得到多尺度多模态特征. 将多模态特征分别送至后续模块中，得到对应的全局特征. 将多模态特征与全局特征进行拼接，形成包含全局信息的多尺度密集判别特征. 根据多尺度密集判别特征得到最终位姿，实现精确的6D位姿估计. 在LineMOD和YCB-Video数据集上开展多项实验，所提方法的表现出色，特别是在处理YCB-Video数据集中具有挑战性的光滑和无纹理物体时表现突出. 在LineMOD数据集上，所提方法的精度优于现有的代表性方法DenseFusion，处理速度显著提升.

关键词：6D位姿,深度学习,神经网络,跨模态融合,注意力机制

基金资助：国家自然科学基金资助项目（52105269）；省部级科技计划资助项目（202402150101006）.