多媒体情感标签标注中音频信号重要性分析

来源：计算机工程与应用杂志2018年第9期北京时间：

作者：陈 墨，郭 雷

单位：西北工业大学 自动化学院，西安 710072

摘要：情感标签标注是情感计算中的一个重要领域。该领域中针对音频、图像和多媒体内容的情感标签标注已有多个相关工作发表。为分析某个基于脑电图的大脑编码的多媒体情感标签标注中音频信号的重要性，情感计算公开数据库DEAP被用作测试基准。基于DEAP数据库的多媒体刺激，共提取了音频特征和三类视频特征。首先仅使用视频特征基于该框架进行多媒体标签标注任务，之后联合使用音频和视频特征进行同样的工作。实验结果表明，与仅使用视频特征的结果相比，联合使用音视频特征可以提高标注准确率，并且没有因为增加特征维数造成性能损失。

关键词：情感计算,情感标签标注,脑电图,多模态融合