基于 GNN 的文本分类算法研究

来源：计算机技术与发展杂志2023年第05期北京时间：

作者：高贵;赵阳;于舒娟;姚成杰;黄丽亚

单位：南京邮电大学 电子与光学工程学院,江苏 南京 210046 Author(s): GAO Gui;ZHAO Yang;YU Shu-juan;YAO Cheng-jie;HUANG Li-ya School of Electronic and Optical Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210046,China 关键词: 图神经网络;文本分类;数据增强;词嵌入;注意力机制 Keywords: graph neural network;text classification;data enhancement;word embedding;attention mechanism 分类号: TP391.1 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 05. 021 摘要: 图神经网络( Graph Neural Networks,GNN) 因其结构的新颖性在文本分类任务中广受关注。 针对 GNN 在训练数据集较少时容易出现过拟合、 特征信息不足等问题, 提出了 Att - DASA - ReGNN ( Regional Embedding GNN based on DataAugmentation and Self-Attention with the Attention Mechanisms)模型。 该模型在数据特征提取阶段引入了简单数据增强方法(Easy Data Augmentation,EDA) 和 Self-Attention 技术改善了过拟合问题;原模型词嵌入方式对维度很高且稀疏的高阶邻域信息的捕捉能力不足,该模型中通过增加区域词嵌入技术,加强了词级之间的关系,使得模型更容易捕捉高阶邻域信息,从而减轻数据稀疏带来的影响。 为了进一步提升模型的文本分类准确率,该模型的图词特征交互阶段通过引入 Soft -Attention 技术改进了注意力权重提取方式。 最后,在多种数据集上的实验证明,该模型的分类准确率较之前模型均有不同程度的提升。

摘要：图神经网络( Graph Neural Networks,GNN) 因其结构的新颖性在文本分类任务中广受关注。 针对 GNN 在训练数据集较少时容易出现过拟合、 特征信息不足等问题, 提出了 Att - DASA - ReGNN ( Regional Embedding GNN based on DataAugmentation and Self-Attention with the Attention Mechanisms)模型。 该模型在数据特征提取阶段引入了简单数据增强方法(Easy Data Augmentation,EDA) 和 Self-Attention 技术改善了过拟合问题;原模型词嵌入方式对维度很高且稀疏的高阶邻域信息的捕捉能力不足,该模型中通过增加区域词嵌入技术,加强了词级之间的关系,使得模型更容易捕捉高阶邻域信息,从而减轻数据稀疏带来的影响。 为了进一步提升模型的文本分类准确率,该模型的图词特征交互阶段通过引入 Soft -Attention 技术改进了注意力权重提取方式。 最后,在多种数据集上的实验证明,该模型的分类准确率较之前模型均有不同程度的提升。

关键词：图神经网络;文本分类;数据增强;词嵌入;注意力机制