融合多模态信息与大语言模型的生成式命名实体识别方法
来源：计算机工程与应用杂志2026年第8期北京时间：
作者：胡慧云, 葛杨, 崔凌潇, 唐琳, 齐思洋, 孔竣达, 肖波
单位：1.国网山东省电力公司 德州供电公司，山东 德州 253000；2.北京邮电大学 人工智能学院，北京 100876；
摘要：针对现有基于序列标注的多模态命名实体识别方法存在模型架构复杂、跨模态信息融合不充分等问题，提出一种基于大语言模型的生成式多模态命名实体识别方法。该方法设计包含三阶段处理流程：采用模态特异性编码器分别提取图文特征，继而设计跨模态注意力机制实现噪声鲁棒的特征融合，通过指令微调的大语言模型实现结构化实体生成。该方法的创新性体现为：有效挖掘大语言模型内隐的语义推理能力；构建具有跨模态一致性的高层语义表征。在Twitter-2015和Twitter-2017基准数据集上的实验表明，该方法F1值分别达到62.7%和66.8%，显著优于现有生成式方法。
关键词：命名实体识别（NER）,大语言模型（LLMs）,多模态融合,信息抽取
基金资助：国家电网有限公司总部管理科技项目（5700-202416236A-1-1-ZN）。
