-
Переименовать config.dist.json в config.json, заполнить параметры aws сервисов.
-
Запуск с тремя флагами: deploy/local - deploy при запуске на кластере, local при тестировании на локальной машине rdd/dataframe - представление данных при подсчёте метрик all/batch - all считать метрики глобально (доступно только при выборе dataframe) batch считать метрики для каждого батча (доступно для любого представления данных)
-
Для вывода данных из Redshift запускать scripts/all_metrics.py с флагами all, если в main был выбран all и batch аналогично
-
Notifications
You must be signed in to change notification settings - Fork 0
Paleontolog/BigDataProjectPython
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
No description, website, or topics provided.
Resources
Stars
Watchers
Forks
Releases
No releases published