级联式低消耗大规模网页分类在线获取方法

来源：计算机应用杂志2017年第4期北京时间：

作者：王亚强, 汤铭, 曾沁, 唐聃, 舒红平

单位：1. 成都信息工程大学 软件工程学院, 成都 610225;2. 广东省气象台, 广州 510080

摘要：针对海量网页在线自动高效获取网页分类系统设计中如何更有效地平衡准确度与资源开销之间的矛盾问题，提出一种基于级联式分类器的网页分类方法。该方法利用级联策略，将在线与离线网页分类方法结合，各取所长。级联分类系统的一级分类采用在线分类方法，仅利用锚文本中网页标题包含的特征预测其分类，同时计算分类结果的置信度，分类结果的置信度由分类后验概率分布的信息熵度量。若置信度高于阈值（该阈值采用多目标粒子群优化算法预先计算取得），则触发二级分类器。二级分类器从下载的网页正文中提取特征，利用预先基于网页正文特征训练的分类器进行离线分类。结果表明，相对于单独的在线法和离线法，级联分类系统的F1值分别提升了10.85%和4.57%，并且级联分类系统的效率比在线法未降低很多（30%左右），而比离线法的效率提升了约70%。级联式分类系统不仅具有更高的分类能力，而且显著地减少了分类的计算开销与带宽消耗。

关键词：大规模网页数据获取,网页分类,级联分类器,置信度函数,多目标粒子群优化

基金资助：国家自然科学基金资助项目（61501063，61501064）；四川省科技计划项目（2016JY0240）；四川省教育厅科研基金资助项目（15ZB0177）。