Home

asofdate-etl 简介

在数据处理过程中，通常会使用到很多个脚本，如shell脚本、Jar包、存储过程。cmd脚本之间往往会有一个依赖关系，也就是有个执行先后顺序。根据配置的先后顺序，严格按照以来关系，执行脚本，完成数据处理，这就是ETL调度系统的开发目的。

系统操作流程：

1. 参数定义

2. 任务定义

3. 任务组定义

4. 批次定义

5. 将任务添加到任务组中，并设置任务依赖关系
6. 将任务组添加到批次中，并设置任务组依赖关系
7. 启动批次，给参数类型为批次类型的参数设定值，启动批次
8. 批次监控页面中，可以监控正在运行的批次，任务组，任务。

如果运行的任务不是存储过程，而是脚本文件，则需要配置脚本基准路径，在[ETL系统-调度核心参数管理]页面中，配置脚本基准路径，在第2步定义任务过程中，填写脚本路径时，必须填写相对于基准路径的值， 如有一个脚本在/opt/dispatch/srcipt/test.sh。 如果基准路径设置成/opt/dispatch。 那么在定义任务时，任务脚本必须携程script/test.sh。

批次一旦启动，会自动翻页运行，当批次日期大于批次终止日期时，调度停止运行。