基于图神经网络的多域特征融合表情识别算法研究

来源：计算机工程与应用杂志2025年第20期北京时间：

作者：张俊杰, 费程, 何伏刚

单位：1.中国人民公安大学 信息网络安全学院，北京 102623；2.首都师范大学 美术学院，北京 100089；3.中国人民公安大学 警体战训学院，北京 100038

摘要：针对现有深度模型需要大量训练数据且无法基于同一网络架构同时对宏表情和微表情进行识别的问题，提出一种基于空域与谱域特征级融合的图神经网络表情识别算法S2GNN（spatial and spectral graph neural networks）。以图像像素点作为节点，节点间的距离作为边，将面部建模为无向加权图，利用邻接矩阵存储图中的距离信息。得到邻接矩阵后，一方面基于图傅里叶变换将图像由空域转化为谱域，在谱域对图像进行卷积，得到图像的谱域特征。另一方面基于无向加权图在空域对图中节点及其相邻节点进行卷积，得到图像的空域特征。利用提出的基于空域特征引导的特征选择模块实现空域和谱域特征的融合。基于融合后的特征进行表情识别。实验结果表明，将空域特征和谱域特征相结合可以提高表情识别的准确率，即使在少量训练数据情况下也可取得较高的分类准确率。在8个公开数据集上进行测试，平均准确率可达89.11%。宏表情和微表情混合数据情况下，未加权F1值和未加权平均召回率分别为0.954和0.970。对实验结果进一步分析可以发现，眼部区域对提高遮挡情况下表情识别的准确率具有重要作用。

关键词：图神经网络,表情识别,微表情识别,空域特征引导