基于语义特征抽取的文本聚类研究

来源：计算机技术与发展杂志2020年第03期北京时间：

作者：殷硕;王卫亚;柳有权

摘要：基于向量空间模型(VSM)的文本聚类会出现向量维度过高以及缺乏语义信息的问题,导致聚类效果出现偏差。 为解决以上问题,引入《知网》作为语义词典,并改进词语相似度算法的不足。 利用改进的词语语义相似度算法对文本特 征进行语义压缩,使所有特征词都是主题相关的,利用调整后的TF-IDF算法对特征项进行加权,完成文本特征抽取,降低 文本表示模型的维度。 在聚类中,将同一类的文本划分为同一个簇,利用簇中所有文本的特征词完成簇的语义特征抽取, 簇的表示模型和文本的表示模型有着相同的形式。 通过计算簇之间的语义相似度,将相似度大于阈值的簇合并,更新簇 的特征,直到算法结束。 通过实验验证,与基于K-Means和VSM的聚类算法相比,文中算法大幅降低了向量维度,聚类效 果也有明显提升。

关键词：文本聚类;语义特征抽取;特征降维;文本相似度;知网