《计算机技术与发展杂志》发表论文赏析
作者:吴加辉;加云岗;王志晓;张九龙;闫文耀;高昂;车少鹏5
摘要:舆论情感分析重点研究公众对于公共事件的情感偏向,其中涉及公共卫生事件的舆论会直接影响社会稳定,所以对于微博的情感分析尤为重要。 该文采取有关疫情方面的文本数据集,使用 RoBERTa 和 BiGRU 以及双层 Attention 结合的 RoBERTa-BDA(RoBERTa-BiGRU-Double Attention)模型作为整体结构。 首先使用 RoBERTa 获取了蕴含文本上下文信息的词嵌入表示,其次使用 BiGRU 得到字符表示,然后使用注意力机制计算各个字符对于全局的影响,再使用 BiGRU得到句子表示,最后使用 Attention 机制计算出每个字符对于其所在的句子的权重占比,得出全文的文本表示,并通过softmax 函数对其进行情感分析。 为了验证 RoBERTa-BDA 模型的有效性,设计三种实验,在不同词向量对比实验中,RoBERTa 对比 BERT 中 Macro F1 和 Micro F1 值提高了 0. 42 百分点和 0. 84 百分点,在不同特征提取层模型对比实验中,BiGRU-Double Attention 对比 BiGRU-Attention 提高了 3. 62 百分点和 1. 34 百分点,在跨平台对比实验中,RoBERTa-BDA在贴吧平台的 Macro F1 和 Micro F1 对比微博平台仅仅降低 1. 29 百分点 和 2. 88 百分点。
关键词:RoBERTa;情感分析;特征提取;词向量;注意力机制;BiGRU