多粒度特征融合的维度语音情感识别方法

来源：信号处理杂志 2017年第3期北京时间：

作者：陈婧, 李海峰, 马琳, 陈肖, 陈晓敏

摘要：针对传统维度语音情感识别系统采用全局统计特征造成韵律学细节信息丢失以及特征演化规律缺失的问题，本文提出了一种基于不同时间单元的多粒度特征提取方法，提取了短时帧粒度、中时段粒度以及长时窗粒度特征，并提出了一种可以融合多粒度特征的基于认知机理的回馈神经网络（Cognition-Inspired Recurrent Neural Network, CIRNN）。该网络模拟了人脑处理语音信号时“循序渐进”的过程，通过融合多粒度特征，使得不同时间单元的特征均参与网络训练，既突出了情感的时序性，也保留了全局特性对情感识别的作用，实现多层级信息融合。该网络同时模拟大脑运用以往经验模式进行对比的过程，在网络中引入记忆层，用于记忆上文情感特征，强化了上下文信息对识别的影响作用。本文将该方法用于VAM维度语料库的维度情感识别，分别从Activation、Dominance、Valence三个维度进行测试，平均相关系数为0.66，识别结果明显优于传统ANN和SVR的识别结果。

关键词：维度语音情感识别, 多粒度特征融合, 基于认知机理的回馈神经网络, 认知机理