Spark框架下利用分布式NBC的大数据文本分类方法

来源：计算机应用研究杂志2019年第12期北京时间：

作者：臧艳辉,赵雪章,席运江,

单位：1.佛山职业技术学院,广东佛山528137；2.华南理工大学,广州510641；

摘要：针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战，提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器（NBC），并研究了现有面向大数据的计算框架。首先，基于朴素贝叶斯文本分类模型将训练样本数据集分为m类；进一步在训练阶段中，将前一个MapReduce的输出作为后一个MapReduce的输入，采用四个MapReduce作业得出模型。该设计过程充分利用了MapReduce的并行优势，最后在分类器测试时取出最大值所属的类标签值。在Newgroups数据集进行实验，在所有五类新闻数据组上的分类都取得了99%以上的结果，并且均高于对比算法，证明了提出方法的准确性。

关键词：文本分类,MapReduce,Spark框架,分布式,朴素贝叶斯分类器,机器学习,

基金资助：国家自然科学基金资助项目(71371077)；佛山市科技计划项目(2015AB004241)；；