基于混合采样的改进随机森林算法研究

来源：计算机技术与发展杂志2021年第12期北京时间：

作者：王诚;赵晓培

摘要：随机森林是由很多决策树组成,而各棵决策树之间没有关联,每棵决策树训练产生基分类器,根据最后决策树投票结果决定分类模型。 随机森林算法比一般的单分类器具有更高的分类准确度和更低的泛化误差,因此被广泛应用于各方面。但是随机森林算法在处理不平衡数据上存在分类准确率下降等问题,分类结果更偏向于多数类。针对上述问题,提出一种基于混合采样的改进随机森林算法( hybrid sampling random forest,HSRF) 。 首先采用随机欠采样和 SMOTE算法相结合的方法对不平衡数据集进行预处理,同时结合聚类算法对 SMOTE 算法进行改进,以增强对于少数类样本的处理能力;然后用平衡后的数据集训练决策树;最后采用加权投票的方法进一步增强算法的分类性能,构造出最后的随机森林分类模型。 实验结果显示,改进的算法相比于原算法在不平衡数据的处理上各评价指标更高,证明了 HSRF 算法通过对不平衡数据集中的多数类欠采样,同时对少数类过采样的混合采样来均衡数据有明显的效果。

关键词：随机森林;混合采样;HSRF 算法;不平衡数据;SMOTE 算法