Debug mode and modified fitness evaluation for for time series #1116
Conversation
Codecov Report
@@ Coverage Diff @@
## master #1116 +/- ##
==========================================
- Coverage 78.32% 76.11% -2.22%
==========================================
Files 130 136 +6
Lines 9321 9656 +335
==========================================
+ Hits 7301 7350 +49
- Misses 2020 2306 +286
|
kasyanovse
force-pushed
the
ts-opt-analytics
branch
from
014f917
to
e81f856
Compare
There was a problem hiding this comment.
Правильно ли я поняла, что идея в том, чтобы пользователь сам не устанавливал validation_blocks? Ниже расписала проблему, которую вижу с этим. Логика, конечно, не самая очевидная, но надеюсь я более-менее объяснила. Надо бы пройтись по коду и по примерам - проверить, что с этим все нормально.
There was a problem hiding this comment.
Стоит еще обновить документацию для time series forecasing в этом или следующем pr. https://fedot.readthedocs.io/en/latest/basics/ts_forecasting.html
| With out-of-sample approach we would predict 10 values and then use those values to forecast | ||
| another 10 values. But with in-sample approach we forecast already known parts of | ||
| time-series. And after forecasting first 10 values we would use real values from time-series | ||
| to forecast next 10 values. |
There was a problem hiding this comment.
Так что, вариант out-of-sample вообще выпилили? Вот кажется что нет, может тогда описание принципа оставить?
There was a problem hiding this comment.
Логично. Перенес в раздел Prediction.
| self.log.info((f"Cross validation with {self.cv_folds} folds cannot be provided" | ||
| f" with forecast length {data.task.task_params.forecast_length}" | ||
| f" and full data length {data.target.shape[0]}." | ||
| f" Cross validation folds is set to {proposed_cv_folds_count}")) |
There was a problem hiding this comment.
Так блоков же достаточное количество, cannot be provided - опечатка или я чего-то не понимаю?
There was a problem hiding this comment.
cannot be provided - это для старого количества блоков self.cv_folds.
Новое, достаточное, - proposed_cv_folds_count.
Output path for debug is C:\Users\user\AppData\Local\Temp\FEDOT\ts_forecasting_debug
Closes #1009