基于Hadoop的网络舆情监控平台设计与实现

来源：计算机技术与发展杂志2016年第02期北京时间：

作者：李晨;杨子江;朱世伟;于俊凤

摘要：文中设计并实现了一种基于Hadoop的网络舆情监控系统。该系统以HDFS作为底层存储系统，在其上构建基于HBase的分布式数据库对舆情信息进行统一存储管理。首先利用基于MapReduce的分布式网络爬虫进行数据抓取，以解决单机爬虫效率低、可扩展性差等问题；其次采用Canopy结合K-means的二次聚类算法，克服单一K-means聚类算法的不足，以提高文本聚类的效率和准确度；最后实现基于查询的话题追踪策略，对热点话题进行有效跟踪分析。仿真实验表明：Canopy-Kmeans聚类方法比传统K-means方法漏报率、误报率分别降低1.24%、0.09%，最小标准代价降低1.681%。系统通过提供可视化舆情分析报告，为企业或单位及时掌握舆情热点、制定舆情策略提供科学、系统的技术支持。

关键词：Hadoop;MapReduce ;舆情监控;文本聚类;热点发现;话题跟踪