一种基于生成式对抗网络的图像描述方法

来源：软件学报杂志2018年第S2期北京时间：

作者：薛子育,郭沛宇,祝晓斌,张乃光

单位：薛子育，国家广播电视总局 广播科学研究院 信息技术研究所, 北京 10086611,郭沛宇，国家广播电视总局 广播科学研究院 信息技术研究所, 北京 10086602,祝晓斌，北京工商大学 计算机与信息工程学院, 北京 10004803,张乃光，国家广播电视总局 广播科学研究院 信息技术研究所, 北京 10086604

摘要：近年来，深度学习在图像描述领域得到越来越多的关注.现有的深度模型方法一般通过卷积神经网络进行特征提取，递归神经网络对特征拼接生成语句.然而，当图像较为复杂时，特征提取不准确且语句生成模型模式固定，部分语句不具备连贯性.基于此，提出一种结合多频道特征提取模型与生成式对抗网络框架的图像描述方法——CACNN-GAN.此方法在卷积层加入频道注意力机制在各频道提取特征，与COCO图像集进行近似特征比对，选择排序靠前的图像特征作为生成式对抗网络的输入，通过生成器与鉴别器之间的博弈过程，训练句法多样、语句通顺、词汇丰富的语句生成器模型.在实际数据集上的实验结果表明，CACNN-GAN能够有效地对图像进行语义描述，相比其他主流算法，显示出了更高的准确率.

关键词：图像描述;生成式对抗网络;频道注意力模型;卷积神经网络

基金资助：国家广播电视总局广播科学研究院基本科研业务费课题（130016018000123）