面向中医结构化大模型的记忆约束剪枝方法

来源：电子与信息学报杂志2026年第3期北京时间：

作者：陆家发, 唐凯, 张国明, 俞晓帆, 顾文琦, 李卓

单位：1.江苏省卫生健康信息中心 南京 2100032.南京邮电大学通信与信息工程学院 南京 2100033.南京邮电大学物联网学院 南京 210023

摘要：随着人工智能技术的快速发展，大语言模型正在中医医疗领域广泛试点应用。但基层中医医院部署大模型面临GPU资源受限、中医非结构化病历利用率低的双重痛点。为此，该文提出一种轻量化的中医病历智能结构化模型。所提模型不仅借助知识蒸馏实现文本编码器轻量化，更重要的是在传统文本编码中引入多模态融合模块，实现轻量化舌诊图像表征。具体而言，该文提出了一种基于记忆约束的多模态表征轻量化方法。所提方法将长短时记忆网络作为剪枝决策器，分析历史信息中长时依赖关系，以此来学习并量化多模态表征中特征连接的重要性。在此基础上，引入增强学习方法对舌诊特征提取模型参数进行反向更新，进一步提升剪枝决策的准确性。实验采用多中心21家三甲医院的10500份脱敏中医电子病历及舌像图像关联文本进行训练与验证。实验结果证明，所提模型F1-score达91.7%，显存占用3.8 GB，推理速度22rec/s，较BERT-Large提升175%效率且显存降低75%。消融实验表明，动态批次裁剪相较于BERT-Large基准模型可节省75%显存，在模型自身消融对比中节省38.7%显存，中医术语增强词表使罕见实体F1-score提升6.2%。

关键词：剪枝轻量化, 中医电子病历, 中医实体识别, 多模态融合

基金资助：国家科技重大专项(SQ2024AAA030211)