hw3_TECHNOPARK

[vBykoff]

• Реализуйте dag, который генерирует данные для обучения модели (генерируйте данные -- можете использовать как генератор синтетики из первой дз, так и что-то из датасетов sklearn). Вам важно проэмулировать ситуации постоянно поступающих данных (5 баллов)+

• Реализуйте dag, который обучает модель еженедельно, используя данные за текущий день. В вашем пайплайне должно быть как минимум 4 стадии, но дайте волю своей фантазии =) (10 баллов)+

• Реализуйте dag, который использует модель ежедневно (5 баллов)+

• Использовать DockerOperator -- тогда выполнение каждой из тасок должно запускаться в собственном контейнере
  +все даги реализованы только с помощью DockerOperator (пример https://github.com/made-ml-in-prod-2021/airflow-examples/blob/main/dags/11_docker.py). По технике, вы можете использовать такую же структуру как в примере, пакуя в разные докеры скрипты, можете использовать общий докер с вашим пакетом, но с разными точками входа для разных тасок. Прикольно, если вы покажете, что для разных тасок можно использовать разный набор зависимостей (10 баллов)+

• Традиционно, самооценка (1 балл)+

content.com/82324471/205502138-f6ebacb1-de9e-4cf9-8e7c-a9dbc2b24613.png)

Суммарно: 31

[bulaevvi]

На общем скриншоте видно, что второй и третий даги падали (судя по красным кружочкам). Надо разобраться, почему они падали, и добиться такого результата, чтобы все выполнялось нормально

Обратите внимание, что в приведенном мною дискордовском примере падений не было

[vBykoff]

Ну да, в них была ошибка и они падали, сейчас же все работает нормально

[bulaevvi]

Сделайте такой общий скриншот, как в моем примере в дискорде https://discord.com/channels/681511874449244211/1011956997790380123/1049258596866727946

[vBykoff]

Так получается?

[bulaevvi]

Да, подойдет

[bulaevvi]

Итого 31 балл. Делайте merge

[vBykoff]

Спасибо