基于多掩码与提示句向量融合分类的立场检测

来源：计算机技术与发展杂志2023年第12期北京时间：

作者：王正佳;李霏;姬东鸿;滕　冲

单位：武汉大学国家网络安全学院 空天信息安全与可信计算教育部重点实验室,湖北 武汉 430072 Author(s): WANG Zheng-jia;LI Fei;JI Dong-hong;TENG Chong Key Laboratory of Aerospace Information Security and Trusted Computing,Ministry of Education,School of Cyber Science and Engineering,Wuhan University,Wuhan 430072,China 关键词: 立场检测;深度学习;提示学习;句向量;多掩码 Keywords: stance detection;deep learning;prompt learning;sentence vector;multi-mask 分类号: TP391. 1 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 12. 022 摘要: 立场检测是指分析文本对于某一目标话题表达的立场,立场通常分为支持、反对和其他。 近期的工作大多采用BERT 等方法提取文本和话题的句语义特征,通常采用 BERT 首符号隐藏状态或者句子中每个词隐藏状态取平均作为句向量。 该文对句向量的获取进行了改进,采用提示学习模板获取提示句向量,提高句向量的特征提取效果。 设计了一种基于多掩码与提示句向量融合分类的立场检测模型(PBMSV) ,将提示句向量分类与多掩码的模板-答案器结构提示学习分类结合,向句向量引入文本、话题和立场词信息,融合句向量和答案器分类结果,对模型进行联合优化。 在 NLPCC 中文立场检测数据集上的实验表明,在五个话题单独训练模型的实验中,该文方法与此前最优方法相比在三个目标上取得领先或持平,取得了 79. 3 的总 F1 值,与最优方法接近,并在句向量对比实验中,验证了提示句向量的优势。 Abstract: Stance detection refers to the analysis of the stance expressed by the text on a target topic,which usually includes support,against and none. Existing works mostly use methods?such as BERT to extract sentence feature vectors of the text and topic,and usually,the first token hidden state or the average of the hidden states of each word in the sentence is?used as the sentence vector. We improve theacquisition of sentence vectors by using prompt learning templates to obtain prompt sentence vectors and enhance the feature extraction　effect of sentence vectors. A stance detection model based on multiple masks and prompt sentence vector fusion classification isdesigned,which combines prompt sentence vector classification with the template - verbalizer structure of prompt learning classificationwith multiple masks,introducing text,topic,and stance words information into sentence vectors,fusing sentence vectors and verbalizerclassification results,and jointly optimizing the model. Experiments on the NLPCC Chinese stance detection dataset show that in the experiments of training separate models for five topics,the proposed method is superior or comparable to the previous best method in threetargets,achieving a total F1 value of 79. 3,which is close to the best method. The advantage of prompt sentence vectors is verified in thesentence vector comparison experiment.

摘要：立场检测是指分析文本对于某一目标话题表达的立场,立场通常分为支持、反对和其他。 近期的工作大多采用BERT 等方法提取文本和话题的句语义特征,通常采用 BERT 首符号隐藏状态或者句子中每个词隐藏状态取平均作为句向量。 该文对句向量的获取进行了改进,采用提示学习模板获取提示句向量,提高句向量的特征提取效果。 设计了一种基于多掩码与提示句向量融合分类的立场检测模型(PBMSV) ,将提示句向量分类与多掩码的模板-答案器结构提示学习分类结合,向句向量引入文本、话题和立场词信息,融合句向量和答案器分类结果,对模型进行联合优化。 在 NLPCC 中文立场检测数据集上的实验表明,在五个话题单独训练模型的实验中,该文方法与此前最优方法相比在三个目标上取得领先或持平,取得了 79. 3 的总 F1 值,与最优方法接近,并在句向量对比实验中,验证了提示句向量的优势。

关键词：立场检测;深度学习;提示学习;句向量;多掩码