Анализ больших данных - лабораторная работа №1 - нормализация данных в снежинку
Одна из задач data engineer при работе с данными BigData трансформировать исходную модель данных источника в аналитическую модель данных. Аналитическая модель данных позволяет исследовать данные и принимать на основе полученных данных решения. Классическими универсальными схемами для анализа данных являются "звезда" и "снежинка". В лабораторной работе вам предстоит потренироваться в трансформации исходных данных из источников в модель данных снежинка.
Что необходимо сделать?
Необходимо данные источника (файлы mock_data.csv с номерами), которые представляют информацию о покупателях, продавцах, поставщиках, магазинах, товарах для домашних питомцев трансформировать в модель снежинка/звезда (факты и измерения с нормализацией).
Алгоритм:
- Клонируете к себе этот репозиторий.
- Устанавливаете себе инструмент для работы с запросами SQL (рекомендую DBeaver).
- Запускаете базу данных PostgreSQL (рекомендую установку через docker).
- Скачиваете файлы с исходными данными mock_data( * ).csv, где ( * ) номера файлов. Всего 10 файлов, каждый по 1000 строк.
- Импортируете данные в БД PostgreSQL (например, через механизм импорта csv в DBeaver). Всего в таблице mock_data должно находиться 10000 строк из 10 файлов.
- Анализируете исходные данные с помощью запросов.
- Выявляете сущности фактов и измерений.
- Реализуете скрипты DDL для создания таблиц фактов и измерений.
- Реализуете скрипты DML для заполнения таблиц фактов и измерений из исходных данных.
- Проверяете полученный результат.
- Отправляете результат на проверку лаборантам.
- Обсуждаете работу с лаборантами.
Что должно быть результатом работы?
- Репозиторий, в котором есть исходные данные mock_data( * ).csv, где ( * ) номера файлов. Всего 10 файлов, каждый по 1000 строк.
- Файл docker-compose.yml с установкой PostgreSQL и заполненными данными из файлов mock_data(*).csv.
- Скрипты DDL (SQL) создания таблиц фактов и измерений в соответствии с моделью снежинка/звезда.
- Скрипты DML (SQL) заполнения таблиц фактов и измерений из исходных данных.