面向中文电子病历的多模态知识图谱构建方法研究
来源：图书情报工作杂志2024年第23期北京时间：
作者：韩普,陈文祺,叶东宇
单位：1 南京邮电大学管理学院 南京 210003;2 江苏省数据工程与知识服务重点实验室 南京 210023
摘要：[目的/意义] 为了对结构复杂、专业性强的多模态电子病历数据进行深度序化和组织，基于多模态深度学习和自然语言处理方法构建面向中文电子病历的多模态知识图谱，进而为临床决策支持和领域知识服务提供更全面地支撑。[方法/过程] 首先对多模态数据进行预处理以构建多模态电子病历数据集；接着利用ResNet和BERT预训练模型分别提取医学图像和文本特征；然后基于多层级视觉提示机制的多模态融合方法构建多模态实体关系联合抽取模型；最后使用图数据库存储并可视化呈现电子病历中不同模态知识。[结果/结论] 构建面向中文电子病历的多模态知识图谱，进一步丰富该领域文本和图像模态知识关联，推进多模态知识组织的实践范畴，为医疗健康领域知识序化、精准知识服务和深度知识发现奠定基础。
关键词：多模态知识图谱,多模态信息抽取,电子病历,知识组织,
基金资助：本文系国家社会科学基金项目\"面向多模态医疗健康数据的知识组织模式研究\"(项目编号:22BTQ096)研究成果之一。
