基于注意力机制和知识蒸馏的电影评分预测

来源：计算机应用与软件杂志2024年第7期北京时间：

作者：刘彤, 于思洁, 倪维健

摘要：针对简单的因子分解机模型(Factorization Machines, FM)对于高阶交互的时间复杂度高和神经网络解决复杂问题尺寸过大问题，以电影评分预测为例，提出一种注意力机制和知识蒸馏的深度网络预测模型(Knowledge Distillation Attention Deep Network,K-ADN)。结合注意力网络区分交互特征的重要度而得到注意力值，利用深度神经网络(Deep Neural Networks，DNN)处理高阶特征组合，建立神经网络模型作为教师模型，从知识蒸馏技术出发，以教师模型确保精确度，以学生模型精简模型尺寸，以求获得更有效的评分预测结果。以豆瓣电影为数据来源进行的实验结果表明，该模型预测的精确度有所提高，通过知识蒸馏后参数量减少86%。

关键词：电影评分, 深度神经网络, 注意力网络, 评分预测, 知识蒸馏