基于注意力特征提取网络的图像描述生成算法

来源：南京信息工程大学学报·自然科学版杂志2019年第3期北京时间：

作者：李金轩

单位：李金轩,北京邮电大学 智能通信软件与多媒体北京市重点实验室/计算机学院, 北京, 100876,杜军平,北京邮电大学 智能通信软件与多媒体北京市重点实验室/计算机学院, 北京, 100876,junpingdu@126.com周南,北京邮电大学 智能通信软件与多媒体北京市重点实验室/计算机学院, 北京, 100876

摘要：针对解决图像描述生成中对浅层图像特征利用不充分、图像目标间关系提取不足的问题，提出一种基于注意力图像特征提取的图像描述生成算法.通过语言模型上下文信息对不同深度图像特征进行自适应注意力权重分配，使带有注意力的图像特征参与指导图像描述生成，提升了图像描述生成的效果.在MSCOCO测试集中所提算法的BLEU-1和CIDEr得分分别达到0.752和0.934，从而验证了所提算法的有效性.

关键词：注意力机制;图像描述;长短期记忆网络;图像特征提取

基金资助：国家自然科学基金（61772083，6153 2006，61877006，61802028）；广西科技重大专项（桂科AA18118054）