基于标签路径特征融合的在线Web新闻内容抽取

来源：软件学报杂志2016年第3期北京时间：

作者：吴共庆,胡骏,李莉,徐喆昊,刘鹏程,胡学钢,吴信东

单位：吴共庆，合肥工业大学计算机与信息学院, 安徽 合肥 23000911,胡骏，合肥工业大学计算机与信息学院, 安徽 合肥 23000902,李莉，合肥工业大学计算机与信息学院, 安徽 合肥 23000903,徐喆昊，合肥工业大学计算机与信息学院, 安徽 合肥 23000904,刘鹏程，合肥工业大学计算机与信息学院, 安徽 合肥 23000905,胡学钢，合肥工业大学计算机与信息学院, 安徽 合肥 23000906,吴信东，合肥工业大学计算机与信息学院, 安徽 合肥 230009;Department of Computer Science, University of Vermont, Burlington, VT 05405, USA07

摘要：精准地抽取新闻网页的内容,是提高Web新闻分析等应用系统工作质量的关键技术之一.由于缺少Web新闻出版的标准,存在大量不同的出版格式,并且Web本身是一种具有高度异构性的大数据载体,导致Web新闻内容抽取成为一个开放性问题.经大量实例分析发现,新闻网页内容与其上的标签路径存在潜在的关联性.因此,设计了标签路径特征系,以从不同视角区分网页内容和噪音.在特征相似性分析的基础上,提出了一种基于组合特征选择的特征融合策略,并设计了基于融合特征的Web新闻内容抽取方法CEPF.CEPF是一种快速的通用、无需训练的在线Web新闻内容抽取算法,可抽取多种来源、多种风格、多种语言的Web新闻网页.在CleanEval等测试数据集上的实验结果表明,CEPF方法优于CETR等抽取方法.

关键词：内容抽取;Web新闻;标签路径特征;组合特征选择;特征融合

基金资助：国家自然科学基金(61273297,61229301,61273292);教育部创新团队发展计划(IRT13059);国家重点基础研究发展计划(973)(2013CB329604);国家高技术研究发展计划(863)(2012AA011005)