Data Pipeline Orchestration con Apache Airflow

[Danysan1]

Propongo un talk sull'orchestrazione delle pipeline per l'elaborazione dati con Apache Airflow

Argomenti trattati:

• Cos'è e cosa non è l'orchestrazione delle pipeline per l'elaborazione dati
• Come funziona Apache Airflow
• Concetti base di Airflow: DAGs, Operators, Sensors, Connections, Hooks
• Esempi di operatori built-in
• Flusso: branching, joining, skipping, data driven scheduling
• Executors e metodi di utilizzo:
  • Applicazione python + Sequential Executor / Local Executor
  • Docker Compose + Celery Executor
  • Kubernetes + Kubernetes Executor
  • Cloud & Managed: Astronomer, AWS MWAA, Google Cloud Composer
• (tempo permettendo) Best practices
• Pregi e difetti che ho riscontratato nel mio utilizzo

Sono disponibile per fare il talk da aprile in poi, dovrebbe durare circa 90 minuti.
Come location c'è la possibilità di organizzare nella sede di Antreem a Imola.