ETL 任务集群调度方法

来源：计算机技术与发展杂志2018年第11期北京时间：

作者：李磊

摘要：随着数据仓库规模越来越大,ETL 任务也不断增多,单机调度 ETL 任务导致多数 ETL 任务不能按时运行或者不能运行情况时常发生。对基于 Kettle 的 ETL 任务调度方法进行了研究,根据这种 ETL 任务特性,ETL 任务调度方法作用的对象是一批相互没有制约的任务。 把 ETL 任务调度分为两个阶段:任务分配与任务执行。 为了避免集群负载的不均衡,根据 ETL 任务的关键特性数据源的数据量,使用贪婪调度算法进行 ETL 任务分配。 为了避免一些 ETL 任务获取不到机会执行,采用动态调整任务优先级的方法,使用高响应比优先调度算法执行 ETL 任务。 通过 ETL 任务测试该集群调度方法的效率,主要比较 ETL 任务执行时所消耗的 CPU、内存,以及一次全部的 ETL 任务执行完成后使用的总时间,并与轮转调度算法进行对比,结果表明效率高于轮转算法。

关键词：数据仓库;抽取-转换-加载;quartz 集群调度;贪婪调度算法;Kettle