一种基于超图的多模态多标签分类方法

来源：计算机工程与科学杂志2024年第9期北京时间：

作者：陆斌, 范强, 周晓磊, 严浩, 王芳潇,

单位：1.南京信息工程大学软件学院，江苏 南京 210044；2.国防科技大学第六十三研究所，江苏 南京 210007；3.国防科技大学大数据与决策实验室，湖南 长沙 410073

摘要：标签分类旨在从若干标签中选取最相关的标签子集来标注一个实例，现已成为人工智能领域的热点问题。传统的多标签学习方法主要针对单一模态数据进行识别，针对多模态数据之间的高阶关联挖掘研究较少。为解决多标签场景下多模态数据之间高阶关联表示不充分的问题，提出了一种基于超图的多模态多标签分类方法。引入超图模型对多模态数据的高阶关联进行建模，利用多模态特征融合和超边卷积操作，实现多模态数据关系挖掘和特征识别，提高了多模态多标签分类的性能。采用电影体裁分类任务进行实验，并与传统方法进行了比较。实验结果表明，所提出的方法在准确率、精度、F1值上优于对比方法，证明了该方法的有效性。

关键词：多标签学习,数据关联,超图,多模态,