基于 BERT 和混合神经网络的诈骗电话文本识别

来源：计算机技术与发展杂志2022年第11期北京时间：

作者：许鸿奎;';周俊杰;姜彤彤;卢江坤;张子枫;胡文烨

单位：1. 山东建筑大学 信息与电气工程学院,山东 济南 250101;2. 山东省智能建筑技术重点实验室,山东 济南 250101

摘要：如今,电话诈骗案件层出不穷,严重危害到了人们的财产安全和社会的和谐安定。 针对社会中的一些诈骗电话问题,提出了一种基于词嵌入和混合神经网络的文本分类方法,实现对诈骗电话文本的分类。 首先构造了诈骗电话文本数据集,内容涵盖了金融、教育、邮递、银行等多类诈骗事件。 为了优化文本的输入词向量,词嵌入部分采用基于 Transformer的 BERT(Bidirectional Encoder Representation from Transformers) 模型来表示诈骗文本,同时采用基于双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM) 以及多尺度卷积神经网络(Convolutional Neural Network,CNN)的混合神经网络(BiLCNN)对文本的词嵌入表示进行特征提取,充分提取出文本的时序特征和局部相关特征,最后将特征融合在一起通过 Softmax 进行分类。 通过实验比较了 Word2vec、ELMo( Embedding from Language Model) 和 BERT 三种词嵌入模型,表明 BERT 作为输入向量的优越性, 同时在诈骗电话文本数据集上的实验结果表明, 提出的模型 BERT + BiLCNN 相比Word2vec+CNN、ELMo+CNN 和 BERT+CNN 模型,诈骗电话文本分类准确率分别提高了 4. 12% 、2. 84% 和 0. 95% 。

关键词：电话诈骗;词嵌入;BERT;卷积神经网络;双向长短时记忆网络