基于Nutch的就业垂直搜索引擎研究

来源：计算机技术与发展杂志2019年第02期北京时间：

作者：肖红玉;贺辉;黄灼东;蔡昭阳

摘要：针对通用搜索引擎专业性不够、查准率较低的问题，基于 Nutch 开源搜索引擎，采用基于本地词库和动态加载词库的正向迭代最细粒度切分算法实现中文分词。基于特征词和元数据标签的空间向量模型实现就业领域主题相关性判定，基于 MapＲeduce 引入网页链入链接权重因子和时间衰减因子改进 LinkＲank 排序算法等对 Nutch 进行二次开发，并在网页信息抓取和过滤、就业信息搜索和特征词推荐等环节引入就业领域本体信息，采用 Java 框架技术对用户查询接口进行了二次开发，提供了如关键字智能提醒、定制爬虫、二次查找、设定查询结果日期、订阅查询等扩展查询接口，设计并实现了基于 Nutch 的就业垂直搜索引擎。实验结果表明，基于 Nutch 的就业垂直搜索引擎具有较高的查准率，可以满足用户专业检索的需求。

关键词：垂直搜索引擎;LinkＲank 算法;就业;Nutch