多注意力机制融合低高阶特征的神经推荐算法

来源：计算机工程与应用杂志2023年第8期北京时间：

作者：崔少国, 独潇, 杨泽田

单位：重庆师范大学 计算机与信息科学学院，重庆 401331

摘要：针对因子分解机仅提取低阶组合特征的局限性，提出了一种基于多注意力机制融合低阶和高阶组合特征的深度神经推荐算法（deep neural recommendation method，DeepNRM）。分别运用因子分解机和多层前馈神经网络从稀疏及稠密特征中提取低阶和高阶组合特征；采用注意力网络和多头自注意力机制从低阶和高阶组合特征中自动选取关键特征；将低、高阶组合特征根据重要性进行融合共同进行推荐。算法模型在MovieLens和Criteo公共数据集上进行了实验验证，消融和对比实验结果表明，提出的算法模型与基准模型相比在AUC指标上分别有1.964个百分点和0.773个百分点的提升。

关键词：因子分解机,推荐系统,深度神经网络,多头自注意力机制,特征抽取