- Развернуть окружение
- Создать даг для дампа всех таблиц, используя операторы из урока
Скачиваем файлы с данными для базы-источкика и DDL-файл из репозитория https://github.com/gregrahn/tpch-kit.git.
Создаем Bash-скрипт для инициализации базы-источника и скрипт для базы-приемника.
Создаем файл под Docker Compose для развертывания двух контейнеров с Postgres 11 и Airflow.
Запускаем наши контейнеры
docker-compose up -d
Заходим в консоль контейнера с первой базой и запускаем скрипт наполнения БД
chmod ugo+x /root/tables/init_01
bash /root/tables/init_01
Заходим в консоль контейнера со второй базой и запускаем скрипт создания схемы БД
chmod ugo+x /root/tables/init_02
bash /root/tables/init_02
Пишем DAG для переброски данных из первой БД во втору. В нем задействованы операторы из урока
Запускаем веб-интерфейс Airflow по адресу http://localhost:8080/ и запускаем DAG.
Таски успешно отрабатывают.
Данные во второй таблице появляются.
