面向情感分类的非监督异构对比蒸馏模型

来源：计算机应用与软件杂志2024年第10期北京时间：

作者：苏肇辰, 徐乐怡, 王晶晶, 李俊涛

摘要：网络评论的数量呈爆炸式增长，对这些评论进行情感分析有着重要的研究价值。自从 BERT模型被提出后，预训练模型成为情感分析任务上的常用方法，但存在模型参数量过大、推理速度缓慢的缺点。在此之前情感分析的方法是一些简单的神经网络模型，训练速度快，可部署性强，但效果一般。因此，结合两类方法的优点，该文提出一种异构设置的非监督对比蒸馏模型，用于网络评论情感分析。在相同数据集和计算资源的情况下，该模型较BERT模型参数量减少146倍，推理时间减少270倍；较DistilBERT蒸馏参数量减少88倍，推理时间减少42.3倍，效果提升1.8个百分点（68.3% vs 70.1%）。

关键词：自然语言处理, 情感分类, 迁移学习, 知识蒸馏