Проект | Краткое описание задачи | Стэк |
---|---|---|
Pentaho ETL | Создать ежедневно запускаемый ETL, который автоматизирует сведение данных из различных источников и форматов, проверку на возможные ошибки и опечатки, загрузку в DWH. В данном проекте я также попытался применить принципы dimension modeling, описанные Ральфом Кимбаллом в своей книге "The Data Warehouse Toolkit"). |
ETL Pentaho Планировщик Cron Источники данных - MySQL, Postgres(в облаке), json, xml, csv, xls, zip, google sheets |
ETL из Яндекс-метрики в Postgres | Ежедневно выгружать данные, необходимые для маркетинговых отчетов из api яндекс метрики,обрабатывать их и загружать в хранилище на PostgreSQL. Должна быть возможность подключаться к хранилищу через любые bi инструменты, используемые в компании: tableau, power bi, excel и др. Написать краткую инструкцию для коллег, как это сделать. |
ETL - Python с библиотеками request, pandas, sqlalchemy Планировщик Cron (bash/bat скрипт) Источники данных API яндекс метрики. БД Postgres |
Простой чат-бот | Может поприветствовать пользователя, угадать возраст пользователя (используя математический трюк), уметь считать от 0 до любого положительного числа, задать тестовый вопрос пользователю и проверить ответы | Python |
Postgres в localhost и Amazon RDS | Перенос данных из Excel в postgres по схеме "Звезда". Аналитические SQL запросы к базе. Dashboard в Data Studio, подключенный к облаку | Postgres, Amazon RDS, SQL, Data Studio |
Postgres в Google Cloud | Развернуть Potgres на виртуальной машине через IaaS сервис Compute Engine. Подключиться к консоли сервера с рабочего компьютера через SSH. Посмотреть на практике, как в postgres происходит работа с изоляциями на разных уровнях | Postgres, Google Compute Engine, VM, SQL, Bash, SSH |
-
Notifications
You must be signed in to change notification settings - Fork 1
freemastera/projects
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
my projects
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published