一种基于Spark时效化协同过滤推荐算法

来源：计算机技术与发展杂志2015年第06期北京时间：

作者：徐新瑞;孟彩霞;周雯;刘盈

摘要：针对传统的批量学习的基于模型的协同过滤算法对新用户(物品)更新缓慢,模型重训练成本高且扩展性不足,对噪音数据的处理有待提高,尤其是随着数据量的增长和时效性要求越来越高,挖掘其中的知识变得越来越困难等问题,对置信权重在线协同过滤算法进行改进。引入自适应软边缘,提出二阶在线优化方法处理在线协同过滤中问题的新算法( Soft Confidence Weighted Online Collaborative Filtering,SCWOCF),并在SparK流处理推荐框架下利用四组真实数据与相关算法作对比测试。实验结果表明,新算法能够及时处理用户(物品)的动态变化,并提升推荐的实时性和准确性,降低计算成本,对噪声数据健壮性更强。

关键词：在线学习;自适应软边缘;软置信权重;二阶协同过滤;推荐系统;Hadoop;SparK on YARN