增强型高阶注意力因子分解机点击率预测模型

来源：计算机工程与应用杂志2022年第24期北京时间：

作者：陈育康, 龙慧云, 吴云, 林建

单位：贵州大学 计算机科学与技术学院，贵阳 550025

摘要：特征交互的建模对于推荐系统中预测用户的点击率至关重要。设计了增强型高阶注意力因子分解机模型EHAFM（enhanced high-order attentive factorization machine），其主要由Embedding层、显式特征交互层、输出层构成。在每个显式特征交互层中，通过聚合其他特征的表示来更新特征的表示，并针对无用特征交互对预测产生干扰的问题，提出了增强型元素级注意力机制，利用投影矩阵拓展特征表示空间，以增强注意力矩阵的学习能力。通过融合多个增强型元素级注意力头的信息，以解决模型泛化能力不足问题。通过堆叠显式特征交互层可以将特征表示更新到任意高阶，将高阶特征交互部分与一阶线性部分结合进行点击率预测。EHAFM模型在Criteo、Movielens-1M两个数据集上进行实验，结果表明相较基准模型在两个数据集上分别有0.21%和0.92%的AUC提升。

关键词：深度学习,显式特征交互,高阶因子分解机,注意力机制