融合预训练和双级元蒸馏的医学短文本分类方法

来源：计算机工程与应用杂志2025年第8期北京时间：

作者：廖列法, 姜炫至

单位：1.江西理工大学 信息工程学院，南昌 341000；2.江西现代职业技术学院，南昌 330095

摘要：为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别，以及使用传统小模型由于自身限制难以做到足够的准确度的问题，提出了一种融合预训练和元蒸馏的文本分类模型PTMD（fusion of pre-training and meta distillation model）。PTMD针对医学文本的多标签问题，通过对比训练对RoBERTa预训练方法进行微调，再由双向内置注意力简单循环单元充分获取语义信息。最后在传统蒸馏模型的基础上融合元学习和助教的思想，通过教学实验和双级模型等方法，提高模型的教学水平，最终在减少训练成本的基础上得到一个高性能医学文本分类模型。实验结果表明，教师模型在CHIP2019评测三数据集上的F1值达到了85.47%，同时学生模型在F1值损失1.45个百分点的情况下，将模型规模缩小到教师模型的近1/6，效果高于大多数传统预训练模型和知识蒸馏模型，证明了该模型具有良好的实用价值。

关键词：文本分类,预训练模型,知识蒸馏