基于奇异值分解的新闻标题聚类研究

来源：计算机技术与发展杂志2020年第02期北京时间：

作者：文晓艺;郝程程

摘要：汉语分词技术和文本聚类是自然语言处理的重要环节,在文本信息的组织、摘要和导航中应用广泛。 文本聚类作 为一种无监督学习算法,其依据是聚类假设:同类的文档相似程度大,不同类的文档相似程度小。 文中主要研究汉语文本 聚类算法在新闻标题类文本中的应用。 首先对采集到的若干条新闻标题进行分词和特征提取,将分词后的文本转化为词 条矩阵;然后使用 TF-IDF技术处理词条矩阵,得到基于分词权重的新的词条矩阵,对新的词条矩阵进行奇异值分解,得到 主成分得分矩阵,提取主成分分析文本特征并根据主成分得分矩阵进行 K-均值和分层聚类分析;最后将聚类结果用词云 图的形式展示出来并评价聚类效果的好坏。 实证显示,对词条矩阵的奇异值分解能降低向量空间的维数,提高聚类的精 度和运算速度。

关键词：汉语分词;词云图;奇异值分解;潜在语义分析;K-means聚类