Skip to content

freemastera/projects

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

26 Commits
 
 
 
 
 
 
 
 

Repository files navigation

Проект Краткое описание задачи Стэк
Pentaho ETL Создать ежедневно запускаемый ETL, который автоматизирует сведение данных из различных источников и форматов, проверку на возможные ошибки и опечатки, загрузку в DWH.
В данном проекте я также попытался применить принципы dimension modeling, описанные Ральфом Кимбаллом в своей книге "The Data Warehouse Toolkit").
ETL Pentaho
Планировщик Cron
Источники данных - MySQL, Postgres(в облаке), json, xml, csv, xls, zip, google sheets
ETL из Яндекс-метрики в Postgres Ежедневно выгружать данные, необходимые для маркетинговых отчетов из api яндекс метрики,обрабатывать их и загружать в хранилище на PostgreSQL.

Должна быть возможность подключаться к хранилищу через любые bi инструменты, используемые в компании: tableau, power bi, excel и др. Написать краткую инструкцию для коллег, как это сделать.
ETL - Python с библиотеками request, pandas, sqlalchemy
Планировщик Cron (bash/bat скрипт)
Источники данных API яндекс метрики.
БД Postgres
Простой чат-бот Может поприветствовать пользователя, угадать возраст пользователя (используя математический трюк), уметь считать от 0 до любого положительного числа, задать тестовый вопрос пользователю и проверить ответы Python
Postgres в localhost и Amazon RDS Перенос данных из Excel в postgres по схеме "Звезда". Аналитические SQL запросы к базе. Dashboard в Data Studio, подключенный к облаку Postgres, Amazon RDS, SQL, Data Studio
Postgres в Google Cloud Развернуть Potgres на виртуальной машине через IaaS сервис Compute Engine. Подключиться к консоли сервера с рабочего компьютера через SSH. Посмотреть на практике, как в postgres происходит работа с изоляциями на разных уровнях Postgres, Google Compute Engine, VM, SQL, Bash, SSH