SparkCRF：一种基于Spark的并行CRFs算法实现

来源：计算机研究与发展杂志2016年第8期北京时间：

作者：朱继召,贾岩涛,徐君,乔建忠,王元卓,程学旗,

摘要：条件随机场(conditionrandomfields,CRFs)可用于解决各种文本分析问题，如自然语言处理(naturallanguageprocessing,NLP)中的序列标记、中文分词、命名实体识别、实体间关系抽取等.传统的运行在单节点上的条件随机场在处理大规模文本时，面临一系列挑战.一方面，个人计算机遇到处理的瓶颈从而难以胜任；另一方面，服务器执行效率较低.而通过升级服务器的硬件配置来提高其计算能力的方法，在处理大规模的文本分析任务时，终究不能从根本上解决问题.为此，采用“分而治之”的思想，基于ApacheSpark的大数据处理框架设计并实现了运行在集群环境下的分布式CRFs——SparkCRF.实验表明，SparkCRF在文本分析任务中，具有高效的计算能力和较好的扩展性，并且具有与传统的单节点CRF++相同水平的准确率.

关键词：大数据, 机器学习, 分布式计算, Spark, 条件随机场,