面向不平衡数据集的语音情感识别研究

来源：计算机工程与应用杂志2024年第4期北京时间：

作者：张会云, 黄鹤鸣

单位：1. 青海师范大学 计算机学院，西宁 810008；2. 藏语智能语音信息处理及应用国家重点实验室，西宁 810008

摘要：样本平衡对机器学习至关重要，在不平衡数据集中，虽然某些类别的样本数量可能很少，但其重要性可能更高。研究了基于不平衡数据集的语音情感识别技术。在不同信噪比下采用不同噪声对不平衡基线数据集EMODB和IEMOCAP进行扩充，构建含噪数据集EMODBM和IEMOCAPM；采用SMOTE、RandomOverSampler、SMOTEENN、ADASYN、TomekLinks以及SMOTETomek等6种技术对基线数据集和含噪数据集进行重采样，实现类别样本平衡；在基线数据集和扩充数据集上分别提取21维的低级描述符特征；采用新提出的模型MA-CapsNet验证重采样技术的有效性。实验表明，重采样后各类情感样本基本平衡，使模型的学习更公平、更客观，并且模型在重采样数据集上的鲁棒性更好。

关键词：语音情感识别,重采样,胶囊网络,数据扩充