| Проверка качества данных. Витрина метрики RFM. |
SQL, Common Table Expression, Window Functions, PostgreSQL, cloudbeaver |
| Модификация DWH. Миграция данных в новую модель. |
SQL, Window Functions, PostgreSQL, cloudbeaver |
| Модификация ETL и витрины. Реализация идемпотентности. |
AirFlow, SQL, PostgreSQL, cloudbeaver, bash, pandas, SQLAlchemy, PostgresOperator, BashOperator |
| Проверки качества данных в ETL процессе |
AirFlow, SQL, PostgreSQL |
| Витрина на DWH из нескольких источников |
Airflow, PostgreSQL, MongoDB Compass, pendulum, Jupyter Notebook, bash, SQLAlchemy, PostgresHook |
| Витрина на данных аналитической БД Vertica |
AirFlow, Yandex S3 Storage, Common Table Expression, SQL, Vertica, cloudbeaver, pandas |
| Spark/PySpark в Hadoop. Работа с HDFS. |
Hadoop, Spark, PySpark, YARN, MapReduce, Window Functions, HDFS, Airflow, SparkSubmitOperator, Parquet |
| Обработка потоковых данных в Spark Streaming |
Kafka, PySpark, AirFlow, kcat, Jupyter Notebook, SQL, PostgreSQL, Spark Streaming |
| Создание сервисов в инфраструктуре Yandex Cloud |
Yandex Cloud Services, Datalense, Kubernetes, kubectl, Kafka, kcat, confluent_kafka, flask, Docker Compose, Helm, Redis |
| Объединение потоков данных. Витрина аналитики. |
Yandex S3, DWH, Vertica, boto3, Airflow, TriggerDagRunOperator, Metabase |