基于多模态的音乐推荐系统

来源：南京信息工程大学学报·自然科学版杂志2019年第1期北京时间：

作者：龚志

单位：龚志,南京邮电大学 通信与信息工程学院, 南京, 210003,邵曦,南京邮电大学 通信与信息工程学院, 南京, 210003,shaoxi@njupt.edu.cnis_first_author:0,is_contact_author:,sequence:2,first_name:,middle_name:,last_name:,resume:,institute_superscript:

摘要：使用传统协同过滤的方式进行推荐往往会忽视音乐底层特征.通过将音乐的音频特征与歌词信息进行多模态融合，并将融合后的特征信息作为协同过滤推荐的补充，提出了一种基于多模态的音乐推荐系统.主要探讨了音频特征与歌词信息的提取，并在提取歌词信息时利用LDA主题模型进行特征降维.针对多模态融合问题，使用一种特征级联早融合法（EFFC）融合方式，并将多模态融合后的结果与单模态结果进行了比较.对于结果的推荐，以多模态特征信息为依据建立用户兴趣模型，并将该模型通过LSTM神经网络，以过滤与优化协同推荐的用户组.结果表明，基于多模态的音乐推荐系统将推荐结果的误差项平方和（SSE）由传统的2.009降至0.388 6，验证了该方法的有效性.

关键词：音乐推荐;协同过滤;LDA主题模型;多模态融合;LSTM神经网络

基金资助：国家自然科学基金（70573025）