舆情事件向量预训练模型

来源：计算机工程与应用杂志2024年第18期北京时间：

作者：王楠, 谭舒孺, 谢晓兰, 李海荣

单位：1.吉林财经大学 管理科学与信息工程学院，长春 130117 ；2.桂林理工大学 信息科学与工程学院，广西 桂林 541006；3.新疆理工学院 信息工程学院，新疆 阿克苏 843100

摘要：目前舆情预测研究中，事件表示具有一定的主观性和静态性，没有充分表达出事件演化的动态性和演化性，很多特征需要通过分析事件发展的完整过程得到，导致构建的预测模型并不能实现舆情现象发生前的预警目的。构建了事件预训练模型，实现基于评论数据的事件特征向量自动生成，并用于训练下游舆情反转预测模型。结合事件的主观评论与时序信息，通过构造评论词、事件词向量、事件词、事件句，将抽象的事件特征向量生成问题转换为自然语言预处理问题，基于Transformer结构提出了一种新的建模方式，实现事件特征向量自动生成及舆情反转预测。提出的模型用于舆情反转预测下游任务时，在测试集中对反转事件的预测率达到100%，实现了反转点之前预测出反转现象的目的。同时，该预测模型还可以较为准确地预测生成第二天的事件句，在对测试集的[n]折交叉验证中仅有11%的事件出现了预测误差，为研究舆情演化相关问题提供数据和方法基础。

关键词：舆情反转预测,事件特征预训练,舆情演化,自然语言处理,Transformer