基于多路语义图网络的图像自动问答

来源：计算机应用研究杂志2023年第2期北京时间：

作者：乔有田,张海军,路明,

单位：1.扬州市职业大学电子工程学院,江苏扬州225200；2.北京物资学院信息学院,北京101149；3.北京航空航天大学网络空间安全学院,北京100191；

摘要：基于视觉特征与文本特征融合的图像问答已经成为自动问答的热点研究方向之一。现有的大部分模型都是通过注意力机制来挖掘图像和问题语句之间的关联关系，忽略了图像区域和问题词在同一模态之中以及不同视角的关联关系。针对该问题，提出一种基于多路语义图网络的图像自动问答模型（MSGN），从多个角度挖掘图像和问题之间的语义关联。MSGN利用图神经网络模型挖掘图像区域和问题词细粒度的模态内模态间的关联关系，进而提高答案预测的准确性。模型在公开的图像问答数据集上的实验结果表明，从多个角度挖掘图像和问题之间的语义关联可提高图像问题答案预测的性能。

关键词：图像问答,多头注意力,自动问答,特征融合,跨模态分析,

基金资助：北京市自然科学基金资助项目(4182037)；北京社会科学基金资助项目(21XCB005)；北京市教委科技计划资助项目(KM201810037001)；；