基于堆叠模型的司法短文本多标签分类

来源：计算机技术与发展杂志2021年第03期北京时间：

作者：何涛;陈剑;闻英友;孔为民

单位：1. 东北大学 东软研究院,辽宁 沈阳 110169;2. 定陶区人民检察院,山东 菏泽 274100

摘要：司法文书短文本的语义多样性和特征稀疏性等特点,对短文本多标签分类精度提出了很大的挑战,传统单一模型的分类算法已无法满足业务需求。 为此, 提出一种融合深度学习与堆叠模型的多标签分类方法。 该方法将分类器划分成两个层次,第一层使用 BERT、卷积神经网络、门限循环单元等深度学习方法作为基础分类器,每个基础分类器模型通过 K折交叉验证得到所有数据的多标签分类概率值,将此概率值数据进行融合形成元数据;第二层使用自定义的深度神经网络作为混合器,以第一层的元数据为输入,通过训练多标签概率矩阵获取模型参数。 该方法将强分类器关联在一起,获得比单个分类器更加强大的性能。 实验结果表明,深度学习堆叠模型实现了 87% 左右的短文本分类 F1 分数,优于 BERT、卷积神经网络、循环神经网络及其他单个模型的性能。

关键词：堆叠模型;BERT;卷积神经网络;门限循环单元;多标签分类