多尺度特征融合的图像描述算法

来源：计算机工程与应用杂志2025年第7期北京时间：

作者：白雪冰, 车进, 吴金蔓

单位：1.宁夏大学 前沿交叉学院，宁夏 中卫 755000 ；2.宁夏大学 宁夏沙漠信息智能感知重点实验室，银川 750021；3.宁夏大学 电子与电气工程学院，银川 750021

摘要：针对现有图像描述算法提取的图像特征信息不全面、编码器和解码器模型不统一的问题，提出了多尺度特征融合的图像描述算法。通过多尺度全局特征提取模块和区域特征提取模块分别得到图像的多尺度全局特征和区域特征，通过特征融合模块获得融合后的视觉特征，送入Transformer模型的编码器完成特征编码，通过Transformer模型的解码器生成图像描述内容。通过在MS-COCO数据集上进行实验，并且与当前的一些主流算法进行比较，实验结果表明，所提出的算法在CIDEr关键指标上得分为127.2%，比主流算法提高了3.5个百分点，其余指标也有不同程度的提高。同时，消融实验验证了算法的有效性，定性分析表明了所提出算法能够生成更准确更详细的图像描述。

关键词：图像描述,多尺度全局特征,区域特征,Transformer