结合 SS-GAN 和 BERT 的文本分类模型

来源：计算机技术与发展杂志2023年第02期北京时间：

作者：宛艳萍;闫思聪;于海阔;许敏聪

摘要：BERT 是近年来提出的一种大型的预训练语言模型,在文本分类任务中表现优异,但原始 BERT 模型需要大量标注数据来进行微调训练,且参数规模大、时间复杂度高。 在许多真实场景中,大量的标注数据是不易获取的,而且模型参数规模过大不利于在真实场景的实际应用。 为了解决这一问题,提出了一种基于半监督生成对抗网络的 BERT 改进模型GT-BERT。 采用知识蒸馏的压缩方法将 BERT 模型进行压缩;引入半监督生成对抗网络的框架对 BERT 模型进行微调并选择最优生成器与判别器配置。 在半监督生成对抗网络的框架下增加无标签数据集对模型进行微调,弥补了标注数据较少的缺点。 在多个数据集上的实验结果表明,改进模型 GT-BERT 在文本分类任务中性能优异,可以有效利用原始模型不能使用的无标签数据,大大降低了模型对标注数据的需求,并且具有较低的模型参数规模与时间复杂度。

关键词：本分类;半监督;BERT;生成对抗网络;模型压缩