Текст работы, для которой использовался пайплайн - TODO
pipeline - пайплайн обучения, логирование метрик
demo - примеры использования пайплайна
external_storage - реализация внешнего хранилища моделей на Google Диске
Конфигурация обучения задаётся файлом run_experiment.py в директории config. В этой же директории лежат файлы конфигурации, в которых настраиваются локальные параметры запуска (путь до директории с экспериментами, параметры логирования).
Директория с экспериментами (по умолчанию - experiments) содержит в себе информацию о проводимых экспериментах: их конфигурации обучения и промежуточные состояния обучения моделей. Импортировать и экспортировать эксперименты в(из) локальную(ой) директорию(и) с экспериментами можно с помощью внешнего хранилища, которое реализовано для работы с Google Диском в external_storage.
Ожидаемый сценарий добавления новой конфигурации:
- модифицируется активная конфигурация обучения (
config/run_experiment.py) - эта конфигурация сохраняется в локальную директорию с экспериментами (
ExperimentsStorage::save_config())
Для запуска настроенного эксперимента достаточно запустить простой Python-скрипт run_pipeline.py.
Пример использования внешнего хранилища с Google Диском с загрузкой обученных моделей для задачи генерации результатов физического эксперимента - demo/external-storage.ipynb.
На Kaggle данный код доступен в датасете (актуальность не гарантируется).