oss-data-platform-airflow

概要

• Airflowのdag定義など（dags,logs,plugins）を管理するレポジトリ。

メモ

• ETL/ELT処理を行う対象テーブルは、対象の拡大や見直しによる追加・変更が頻繁に入るため、設定ファイル(yml)のみで抜き差しができるようにしてある。
• 開発／検証／本番環境でサーバスペックや実行可能時間などが異なるケースがあるため、種々のパラメータはハードコードせずにVariableで設定・変更できるようにしている。