Скрипт для автоматизации рутинных задач инженера машинного обучения

1. Задачи, которые необходимо решить.

1. Автоматизация загрузки данных из различных источников:

   • csv / excel, +
   • API (Kaggle)
   • Локальная база данных (Реляционная SQL СУБД на примере PostgreSQL), +
   • Не реляционная база данных (NoSQL - MongoDB),
   • Документация по модулям загрузки данных.

2. Валидация данных при загрузке

   • Проверка на дубликаты,
   • Проверка пропусков и корректности данных,
   • Выявление и обработка выбросов,
   • Логирование результатов валидации,
   • Документация по модулям валидации данных.

3. Очистка данных

4. Анализ данных

5. Отчетность

6. Интеграция с бизнесс-процессами

7. Документация и тестирование.

---

---

---