基于分层抽样的重叠深网数据源选择

来源：软件学报杂志2017年第5期北京时间：

作者：江俊彦,彭智勇,吴小莹,彭承晨,王敏

单位：江俊彦，武汉大学 计算机学院, 湖北 武汉 430072;软件工程国家重点实验室(武汉大学), 湖北 武汉 43007211,彭智勇，软件工程国家重点实验室(武汉大学), 湖北 武汉 43007202,吴小莹，软件工程国家重点实验室(武汉大学), 湖北 武汉 43007203,彭承晨，武汉大学 计算机学院, 湖北 武汉 43007204,王敏，武汉大学 计算机学院, 湖北 武汉 43007205

摘要：深网查询在Web上众多的应用，需要查询大量的数据源才能获得足够的数据，如多媒体数据搜索、团购网站信息聚合等.应用的成功，取决于查询多数据源的效率和效果.当前研究侧重查询与数据源的相关性而忽略数据源之间的重叠关系，使得不同数据源上相同结果的数据被重复查询，增加了查询开销及数据源的工作负载.为了提高深网查询的效率，提出一种元组水平的分层抽样方法来估计和利用查询在数据源上的统计数据，选择高相关、低重叠的数据源.该方法分为两个阶段：离线阶段，基于元组水平对数据源进行分层抽样，获得样本数据；在线阶段，基于样本数据迭代地估计查询在数据源上的覆盖率和重叠率，并采用一种启发式策略以高效地发现低重叠的数据源.实验结果表明，该方法能够显著提高重叠数据源选择的精度和效率.

关键词：数据源选择;分层抽样;数据源重叠率估计;回归

基金资助：国家自然科学基金（61232002，61202035）；湖北省科技支撑计划（2015BAA127）