Spark平台下的短文本特征扩展与分类研究

来源：计算机科学与探索杂志2017年第5期北京时间：

作者：王雯，赵衎衎，李翠平，陈红，孙辉

单位：1. 中国人民大学 数据工程与知识工程教育部重点实验室，北京 1008722. 中国人民大学 信息学院，北京 100872

摘要：短文本分类经常面临特征维度高、特征稀疏、分类准确率差的问题。特征扩展是解决上述问题的有效方法，但却面临更大的短文本分类效率瓶颈。结合以上问题和现状，针对如何提升短文本分类准确率及效率进行了详细研究，提出了一种Spark平台上的基于关联规则挖掘的短文本特征扩展及分类方法。该方法首先采用背景语料库，通过关联规则挖掘的方式对原短文本进行特征补充；其次针对分类过程，提出基于距离选择的层叠支持向量机（support vector machine，SVM）算法；最后设计Spark平台上的短文本特征扩展与分类算法，通过分布式算法设计，提高短文本处理的效率。实验结果显示，采用提出的Spark平台上基于关联规则挖掘的短文本特征扩展方法后，针对大数据集，Spark集群上短文本特征扩展及分类效率约为传统单机上效率的4倍，且相比于传统分类实验，平均得到约15%的效率提升，其中特征扩展及分类优化准确率提升分别为10%与5%。

关键词：短文本分类,特征扩展,关联规则,Spark平台