Add IOptTuner

[YamLyubov]

Main changes:

• IOptTuner was added. Example: examples/simple/pipeline_tuning_with_iopt.py
• The way search space is set have changed
  Previously:

  {'adareg': {
                'learning_rate': (hp.loguniform, [np.log(1e-3), np.log(1)]),
                'loss': (hp.choice, [["linear", "square", "exponential"]])
  }, ... }
  

  Now (IOpt needs info about the type of the parameter: continuous, discete, categorical):

  {'adareg': {
                'learning_rate': {
                    'hyperopt-dist': hp.loguniform,
                    'sampling-scope': [1e-3, 1],
                    'type': 'continuous'},
                'loss': {
                    'hyperopt-dist': hp.choice,
                    'sampling-scope': [["linear", "square", "exponential"]],
                    'type': 'categorical'}
  }, ... }
  

• TunerBuilder changed slightly: now you can pass additional parameters specific for a tuner with .with_additional_params() method.

Implementation of IOptTuner - aimclub/GOLEM#70
New documentation for hyperparameters tuning (FEDOT) - https://fedot--1102.org.readthedocs.build/en/1102/advanced/hyperparameters_tuning.html
New documentation for hyperparameters tuning (GOLEM) - https://thegolem--70.org.readthedocs.build/en/70/api/tuning.html

[aim-pep8-bot]

Hello @YamLyubov! Thanks for updating this PR. We checked the lines you've touched for PEP 8 issues, and found:

There are currently no PEP 8 issues detected in this Pull Request. Cheers! 🍻

Comment last updated at 2023-06-15 15:10:28 UTC

[codecov]

Codecov Report

Merging #1102 (39e4878) into master (40312cb) will increase coverage by 0.21%.
The diff coverage is 88.00%.

❗ Current head 39e4878 differs from pull request most recent head e05dc7a. Consider uploading reports for the commit e05dc7a to get more accurate results

@@            Coverage Diff             @@
##           master    #1102      +/-   ##
==========================================
+ Coverage   78.67%   78.88%   +0.21%     
==========================================
  Files         130      130              
  Lines        9308     9306       -2     
==========================================
+ Hits         7323     7341      +18     
+ Misses       1985     1965      -20     

Impacted Files	Coverage Δ
fedot/api/api_utils/api_composer.py	94.84% <ø> (ø)
...implementations/data_operations/text_pretrained.py	41.30% <0.00%> (-6.53%)	⬇️
fedot/core/pipelines/tuning/tuner_builder.py	83.95% <75.00%> (-0.20%)	⬇️
fedot/core/data/data.py	71.28% <100.00%> (ø)
...t/core/operations/evaluation/gpu/classification.py	75.00% <100.00%> (ø)
fedot/core/operations/evaluation/gpu/clustering.py	51.35% <100.00%> (ø)
fedot/core/operations/evaluation/gpu/common.py	46.93% <100.00%> (ø)
fedot/core/operations/evaluation/gpu/regression.py	71.42% <100.00%> (ø)
...lementations/data_operations/text_preprocessing.py	39.43% <100.00%> (ø)
...aluation/operation_implementations/models/keras.py	30.09% <100.00%> (ø)
... and 2 more

... and 3 files with indirect coverage changes

[maypink]

а еще хотела спросить: где-то есть сравнение тюнеров? как вообще пользователю понять, когда какой использовать?

[maypink]

может сделать так, чтобы тип передаваемых параметров автоматически определялся исходя из самих параметров?

[YamLyubov]

Изначально тоже думала о таком решении, но потом все-таки решила оставить так. В таком случае есть возможность не задавать распределение для hyperopt, если его использование не планируется. Так же показалось, что такое задание параметров может вводить в заблуждение, что iOpt будет семплировать именно из такого распределения. Ну и в целом показалось костыльным определение типа по распределению

[maypink]

а что теперь будет, если строка передастся, а не словарь?

[YamLyubov]

Сейчас такое по идее не должно происходить, так как в ParametersChanger мы передаем параметры, которые хранятся в Node.parameters. Node.parameters - это всегда словарь.

Строка 'default_params' = DEFAULT_PARAMS_STUB преобразуется в словарь при создании ноды (https://github.com/aimclub/FEDOT/blob/master/fedot/core/pipelines/node.py#LL61C1-L75C103), и если мы сеттим parameters (https://github.com/aimclub/FEDOT/blob/master/fedot/core/pipelines/node.py#LL327C1-L341C64)

[maypink]

позапускай плиз в этом пр примеры, видимо не все импорты поправили -- сейчас падает как минимум пример с регрессией в мастере

[YamLyubov]

а еще хотела спросить: где-то есть сравнение тюнеров? как вообще пользователю понять, когда какой использовать?

Добавила в документацию небольшое сравнение https://fedot--1102.org.readthedocs.build/en/1102/advanced/hyperparameters_tuning.html