基于小样本学习和语义信息的图像描述模型
来源：计算机工程杂志2021年第8期北京时间：
作者：王会勇, 卢超, 张晓明
单位：河北科技大学 信息科学与工程学院, 石家庄 050000
摘要：为克服传统图像描述模型只能描述已知对象的问题，结合小样本目标检测器和知识图谱，提出一种新的图像描述模型。小样本目标检测器能够检测出描述模型无法识别的对象，并且给出对象的名称，利用知识图谱提供对象的背景知识，结合对象信息，通过引入注意力机制引导模型选取合适的单词，进而生成包含这些对象的描述语句。实验结果表明，该模型的平均F1值较基线模型提升了6.6个百分点，而且所生成的描述语句的质量在SPICE标准上提高了2.0个百分点，证明该模型所采用的方法是有效的。
关键词：图像描述,小样本学习,知识图谱,目标检测,循环神经网络
基金资助：河北省自然科学基金（F2018208116）。
