Web文档分类中TFIDF特征选择算法的改进

来源：计算机技术与发展杂志2019年第05期北京时间：

作者：段国仑;谢钧;郭蕾蕾;王晓莹

摘要：随着海量数据资源在网络中的出现,Web 文档分类技术越来越受到重视。 在 Web 文档分类的研究中,特征选择算法有着重要的研究意义。 特征选择能有效降低文本向量空间模型的维度,从而构造出更快,消耗更低的预测模型。 传统的 TFIDF 算法仅仅依靠文档中所包含特征词的词频和逆文档频率来判断该特征词对于文档分类的重要性,忽略了特征项在类内和类间的分布以及数据集不均衡现象,从而效果受到制约。 针对存在的不足进行改进,提出了类内分布因子以及类间分布因子。 基于类内以及类间因子,替代逆文档频率,可以使得改进的表达式能够选择出更加高效的特征词。 通过使用 SVM 分类器进行文本分类对比实验,与改进前的方法相比,该方法能使 F1 值得到一定程度的提高,在不均衡数据集上同样具有较好的分类效果。

关键词：Web文档分类;特征选择;TFIDF算法;SVM