批处理方式新增参数替换功能

[duowan1520]

在用批处理方式执行任务时，通常需要定时执行处理逻辑。并且在每次执行时需要带上不同的参数(调度时传递)。是否可以新增参数替换功能，方便读取像hdfs/hive中不同目录/分区的数据。

[garyelephant]

你好，参数替换功能我们正在考虑增加，你所需要的参数替换功能，请举一个具体的例子，我们优先支持。

[duowan1520]

    你好，我们在对数仓模型进行数据开发时，很多模型不需要实时计算，通常我们把它们放在hive或hdfs中按分区/目录存储。计算周期可能是天、周、月。
    比如：按天统计，13号凌晨，需要从昨天的分区中取出数据进行汇总：select id from t where dt = 20180912 and col1=xxx 我们从模型t中的dt=20180912分区中取出数据。任务上线后，需要每天跑前一天的数据。这时，就希望条件dt=20180912中的20180912这个日期值是可替换的，每天调度执行时都是不同的值。另外，在一条SQL中可否考虑下支持多个参数替换。

[garyelephant]

@duoduo5566 你好，你的描述很详尽，我们也正有意加入类似功能，我的微信号码 garyelephant, 请加我微信我们持续沟通和跟进。

[duowan1520]

好的，很荣幸！谢谢

[garyelephant]

Waterdrop 中如何在配置中指定变量，之后在运行时，动态指定变量的值？

Waterdrop 从v1.2.4开始，支持在配置中指定变量，此功能常用于做定时或非定时的离线处理时，替换时间、日期等变量，用法如下：

在配置中，配置变量名称，比如:

...

filter {
  sql {
    table_name = "user_view"
    sql = "select * from user_view where city ='"${city}"' and dt = '"${date}"'"
  }
}

...

这里只是以sql filter举例，实际上，配置文件中任意位置的key = value中的value，都可以使用变量替换功能。

详细配置示例，请见variable substitution

启动命令如下：

# local  模式
./bin/start-waterdrop.sh -c ./config/your_app.conf -e client -m local[2] -i city=shanghai -i date=20190319

# yarn client 模式
./bin/start-waterdrop.sh -c ./config/your_app.conf -e client -m yarn -i city=shanghai -i date=20190319

# yarn cluster 模式
./bin/start-waterdrop.sh -c ./config/your_app.conf -e cluster -m yarn -i city=shanghai -i date=20190319

# mesos, spark standalone  启动方式相同。

可以用参数 -i 或者 --variable 后面指定 key=value来指定变量的值，其中key 需要与配置中的变量名相同。