《计算机技术与发展杂志》发表论文赏析
作者:孙彦雄;李业丽;边玉宁
摘要:针对传统随机森林算法对文本特征提取质量不高导致分类效果差的问题,提出一种对图书等大数据量文本信息文本的改进的随机森林算法。 又由于传统随机森林决策树质量难以保证,提出一种加权投票提高决策树质量的机制。 算法主要由两方面组成,一方面是基于文本主题特征提取的 Tr-K 方法,目的是提高文本主题特征的质量与代表性;另一方面是基于 bootstrap 抽样时遗留的 1/3 袋外数据提出的验证机制。 文中采用的是 20 Newsgroups 数据集和来自于搜狗实验室提供的中文分类语料库,中英文两种数据集充分考虑了该模型的泛化性,并在实验中验证了不同数据集下较传统随机森林算法拥有更优秀的分类能力。 Python 环境下的实验数据表明,该方法在文本分类中相对于 C4.5、KNN、SVM、原始随机森林算法可以取得更好的结果。
关键词:图书文本分类;随机森林;Tr-K 方法;TRk-SW-RF 模型;主题分类;决策树