一种基于权重预处理的中文文本分类算法

来源：计算机技术与发展杂志2022年第03期北京时间：

作者：何铠;管有庆;龚锐

摘要：文本分类是 NLP( natural language processing,自然语言处理) 处理技术的重要分支。 信息检索、文本挖掘作为自然语言处理领域的关键技术,给人们的生活带来了许多便利,而文本分类正是这些关键技术开展的重要基础。 文本分类作为自然语言处理研究的一个热点,其主要原理是将文本数据按照一定的分类规则实现自动化分类。 目前常见的文本分类方式主要分为基于机器学习和基于深度学习两种,它们的本质是通过计算机自主学习从而提取文本信息中的规则来进行分类。 针对数据量较小、硬件运算能力较低的应用场景,往往使用基于机器学习算法而衍生的文本分类模型。 该文以期刊论文作为实验数据,研究中文文本分类问题,在改进传统词频算法的基础上提出了一种基于权重预处理的中文文本分类算法 PRE-TF-IDF( pre-processing term frequency inverse document frequency) 。 传统词频算法在对词加权时仅考虑词的出现频率而不考虑词在文本中的位置;PRE-TF-IDF 算法在 TF-IDF( term frequency inverse document frequency)算法的基础上增加权重预处理和词密度权重两个环节。 实验结果显示 PRE-TF-IDF 算法能够有效提高文本分类的准确性。

关键词：自然语言处理;词频算法;中文文本分类;权重预处理;词密度权重