多模态融合的家庭音乐相册自动生成

来源：南京信息工程大学学报·自然科学版杂志2017年第6期北京时间：

作者：刘君芳

单位：刘君芳,南京邮电大学 通信与信息工程学院, 南京, 210003,邵曦,南京邮电大学 通信与信息工程学院, 南京, 210003,shaoxi@njupt.edu.cnis_first_author:0,is_contact_author:,sequence:2,first_name:,middle_name:,last_name:,resume:,institute_superscript:

摘要：随着大数据以及社交网络的发展，电子相册与在线服务成为如今人们使用计算机与互联网的基础应用.尤其是近年社交网络的流行，电子相册的数量得到了爆炸增长，而如何增强相册的用户体验变得尤为重要.具有某种主题的相册一般都带有一定的情感信息，因此，本文研究了基于多模态融合的家庭音乐相册自动生成问题，旨在使用户能够在享受音乐的同时配以与音乐情感相同的相册图片.针对音乐与图片中所蕴含的情感，本文在音乐和图像中分别选取能够表达其情感的句子级别的音频特征和图像特征，然后在图像与音乐之间异构和跨模态的特征融合问题上，采用局部保持投影（LPP）方法，将图像特征与音乐特征映射到更具情感分类能力的隐式特征空间中，实现了音乐相册的自动生成.在实验中，客观评测结果表明，采用LPP方法在查准率方面高于纯CCA方法；在主观评测中LPP获得72.06%的满意度，与人工推荐的评价结果（78.09%）比较接近，明显高于随机推荐和CCA方法的满意度.

关键词：音乐相册;情感模型;句子级别;多模态融合;隐式空间

基金资助：国家自然科学基金（61401227）；北京市自然科学基金（4152053）