基于隐含语义分析的在线新闻话题发现方法

来源：计算机技术与发展杂志2016年第09期北京时间：

作者：武高敏;张宇晨;韩京宇

摘要：互联网的飞速发展和海量数据的不断增长，使得如何快速、有效地识别当前新闻热点信息成为迫切需求。在线新闻话题发现已成为当前研究热点。对于在线环境下的新闻文本特征表示，传统向量空间模型随着数据的增长向量维度不断增长，使得数据稀疏和同名异议问题愈加明显，导致文本相似度难以准确度量。使用基于特征加权的隐含语义分析将高维、稀疏的词-文档矩阵映射到隐藏的k维语义空间，充分挖掘词、文档之间的语义信息，以提高同主题文档间的语义相似度，克服在线环境下文本稀疏性和同名异议问题。此外，对于不断增长的大规模新闻数据，传统聚类算法存在时间复杂度过高或者输入依赖等问题，难以快速、有效地得到理想结果。基于新闻报道在时间上的顺序性和相关性，提出改进的Single-pass在线增量聚类算法检测话题类，并引入话题热度值的概念来筛选当前关注度较高的热点话题。实验结果表明，该方法能够有效提高话题检测的准确率，实现基于真实新闻数据集的在线话题捕捉。

关键词：话题发现 ;向量空间模型 ;隐含语义分析 ;文本聚类 ;奇异值分解