add InputData from pd and numpy #1184
Conversation
Codecov Report
@@ Coverage Diff @@
## master #1184 +/- ##
==========================================
- Coverage 79.55% 79.50% -0.06%
==========================================
Files 145 145
Lines 9995 10021 +26
==========================================
+ Hits 7952 7967 +15
- Misses 2043 2054 +11
|
fedot/core/data/data.py
Outdated
| target_array: np.ndarray, | ||
| idx: Optional[np.ndarray] = None, | ||
| task: Task = Task(TaskTypesEnum.classification), | ||
| data_type: Optional[DataTypesEnum] = None) -> InputData: |
There was a problem hiding this comment.
Думаю по умолчанию можно поставить table, как наиболее часто используемый тип
There was a problem hiding this comment.
Может даже стоит создать два метода
from_numpy
и
ts_from_numpy
Интуитивно, пользователю, будет понятней сразу из названия метода, что он может с его помощью конвертировать временной ряд в инпут дату (вместо того, чтобы вручную прописывать Task и DataType)
There was a problem hiding this comment.
Да, по аналогии с from_csv прописала
fedot/core/data/data.py
Outdated
|
|
||
| @classmethod | ||
| def from_dataframe(cls, | ||
| df: pd.DataFrame, |
There was a problem hiding this comment.
Иногда возникает ситуация, когда у тебя X и y - отдельные датафреймы, и хочется создать инпут дату из них. Это выглядит как частный случай метода from_numpy. Возможно его можно обобщить и до датафреймов
There was a problem hiding this comment.
ну тут идея как раз в том, что пользователь уже пооткрывал свои данные и подготовил датафрейм самостоятельно, специально из этого метода убрала всю автоматичность
There was a problem hiding this comment.
Может быть у меня замыленный взгляд - привык, что в sklearn ты всегда передаешь X и y отдельно. Поэтому часто возникает именно такая ситуация, что хочется отдельно прокинуть фичи и таргет. Но тот вариант, что сейчас написан, тоже нужен.
There was a problem hiding this comment.
Про отдельные X и Y спорный момент. С одной стороны, мы идеологически предлагаем решение "из коробки" - вы просто читаете любой формат в DataFrame и засовываете в AutoML. С другой, почти любая предобработка данных пользователем выдаст X и Y отдельно.
Я считаю, этот вопрос можно переформулировать так: мы рассчитываем на продвинутого пользователя или наоборот?
Судя по тому, что дело дошло до создания InputData вручную, скорее на продвинутого. Тогда, на мой взгляд, разумнее использовать вариант с отдельными параметрами для X и Y.
UPD: На это можно посмотреть ещё так: в pandas гораздо интуитивнее разделяется датафрейм, чем два датафрейма сшиваются воедино. Гораздо лучше, если наш интерфейс не будет никого обрекать на конкатенацию датафреймов.
There was a problem hiding this comment.
Принято, разделила from_dataframe на два входа features_df и target_df
fedot/core/data/data.py
Outdated
|
|
||
| @classmethod | ||
| def from_dataframe(cls, | ||
| df: pd.DataFrame, |
There was a problem hiding this comment.
Про отдельные X и Y спорный момент. С одной стороны, мы идеологически предлагаем решение "из коробки" - вы просто читаете любой формат в DataFrame и засовываете в AutoML. С другой, почти любая предобработка данных пользователем выдаст X и Y отдельно.
Я считаю, этот вопрос можно переформулировать так: мы рассчитываем на продвинутого пользователя или наоборот?
Судя по тому, что дело дошло до создания InputData вручную, скорее на продвинутого. Тогда, на мой взгляд, разумнее использовать вариант с отдельными параметрами для X и Y.
UPD: На это можно посмотреть ещё так: в pandas гораздо интуитивнее разделяется датафрейм, чем два датафрейма сшиваются воедино. Гораздо лучше, если наш интерфейс не будет никого обрекать на конкатенацию датафреймов.
fedot/core/data/data.py
Outdated
| @classmethod | ||
| def from_numpy_time_series(cls, | ||
| features_array: np.ndarray, | ||
| target_array: np.ndarray, |
There was a problem hiding this comment.
Было бы здорово сделать таргет по умолчанию None, И если он None, то features считаем равным таргет.
fedot/core/data/data.py
Outdated
|
|
||
| Args: | ||
| features_array: numpy array with features. | ||
| target_array: numpy array with target. |
There was a problem hiding this comment.
Мне как возможному пользователю может быть непонятно, что в федоте чаще всего фичи = таргет в инпут дате для задач прогнозирования.
There was a problem hiding this comment.
Чаще всего, но не всегда. Добавила пояснение в докстринг
Add InputData.from_dataframe and InputData.from_numpy methods. From dataframe expects that user already opend his df, set indeces, removed columns. From numpy based on exicting function.