基于预训练模型与记忆卷积网络的立场检测研究

来源：计算机技术与发展杂志2023年第08期北京时间：

作者：陈珂;周浩轩;王国权

单位：1. 广东石油化工学院 计算机学院,广东 茂名 525000;2. 东莞长城开发科技有限公司,广东 东莞 523000

摘要：立场检测研究旨在研究特定文本针对特定话题所表达的支持、中立或反对立场,在以往的中文文本立场分析研究方法中,未关注文本结构间的依赖关系, 且评论文本所隐含的立场往往是隐晦和不敏感的。 该文提出了基于双向Transformer 的大 规 模 预 训 练 语 言 模 型 BERT ( Bidirectional Encoder Representation from Transformers) 和 长 短 时 记 忆(LSTM) 以及卷积神经网络( CNN)相结合的立场分析方法来解决这个问题,同时,为解决 BERT 模型针对不同数据样本输入向量维度不一所导致的误差,提出了一种最优字个数维度判定算法对 BERT 模型输入进行分析。 模型搭建上创新地采用并行输入输出的方法,充分利用了 LSTM 的全局特征提取和 CNN 的局部特征提取的优势,并且所用 BERT 模型更能对隐晦特征及不敏感特征进行提取,利用这一方法可以有效地判定不同目标对某一特定话题所表达的支持、中立或者反对立场。 经过对比传统模型以及现有立场分析方法表明,所提模型拥有较好的性能,其 F1 值达到 0. 883。

关键词：立场分析;最优字维度判定;BERT;长短时记忆;卷积神经网络