基于Hadoop的可视化Deep Web采集平台设计

来源：计算机工程与科学杂志2016年第2期北京时间：

作者：刘彤1,张阳2,孙琦2,袁翀2

单位：1.北京市计算中心云计算关键技术与应用北京市重点实验室,北京 100094;2.北京市计算中心云计算关键技术与应用北京市重点实验室物联网与大数据应用事业部,北京 100094）

摘要：随着信息技术的发展,互联网信息资源变得越来越丰富,大数据技术的发展使得我们能够从互联网复杂的信息数据中获得相应的知识。这其中最基本的技术就是大数据采集技术,它使我们能够将互联网数据快速采集下来并结构化存储。设计的基于Hadoop的可视化Deep Web采集平台是一种简单易操作的高效深度采集平台,运用Webkit技术作为核心引擎实现可视化配置和深度采集功能,同时通过优化采集算法,调整Hadoop任务分配策略提升效率。 实验结果表明,设计的数据采集平台获得了较好的效果。

关键词：数据采集,Hadoop,可视化,

基金资助：国家自然科学基金(71303023)；北京市科学技术研究院萌芽计划基金