airflow 사용법 정리

airflow란?

airflow 설치하기(conda 환경하에서 진행)

pip install apache-airflow
which airflow

airflow 기본 적인 내용 확인

airflow 

airflow config list

airflow DB 초기화

airflow db init

airflow 유저 계정 생성

airflow users create \ 
--username {Login_ID} \
--firstname {First_NAME} \ 
--lastname {Last_NAME} \
--role Admin \              # 해당 부분은 고정
--password {Password} \
--email {Email}

Webserver시작하기

airflow webserver --port 9111

airflow webserver

scheduler 실행

airflow scheduler

airflow-spark 연동하기

pip install apache-airflow-providers-apache-spark

Docker로 실행하기

mkdir ./dags
mkdir ./logs
mkdir ./plugins
docker-compose up -d

• provider 공식문서