面向知识场景的图片类教育资源知识点自动标注算法

来源：计算机工程与应用杂志2024年第24期北京时间：

作者：王静, 杜旭, 李浩, 胡壮

单位：1.重庆邮电大学 自动化学院，重庆 400065；2.华中师范大学 人工智能教育学部，武汉 430079

摘要：针对图片资源的视觉特征与高级知识语义不一致的挑战，提出一种新的知识点自动标注算法，称为基于知识场景的情境超图卷积网络（SHGCN），以便高效组织管理教育领域中的图片数据，促进知识理解与有效利用，实现教育智能化。该算法在提取图片资源显性视觉特征的同时，又挖掘了隐含在细粒度区域的隐性知识信息。利用Faster R-CNN和OCR技术来识别知识对象和坐标文本等知识实体，这些知识实体特征融合后作为该图片的知识向量；提出双筛选机制来生成不同类型的知识场景，并将知识场景作为超边来构建情境超图，建模蕴含相似情境信息的图片间高阶知识相关性。利用超图卷积实现知识相似图片的情境信息聚合，实现“视觉-语义”到“视觉-语义-知识”的转化。还构建了一个物理学科的图片数据集来训练和验证SHGCN。实验结果表明，SHGCN在提取图片显性视觉信息的基础上，进一步挖掘隐性知识信息，其性能优于基线方法。

关键词：知识点标注,超图卷积网络,知识场景,情境超图