Operation repo refactor #1253

kasyanovse · 2024-01-19T15:44:12Z

This is a 🔨 code refactoring.

Summary

Рефактор тегов и пресетов:

Разделение. Теперь пресеты никак не пересекаются с тегами и служат лишь как апи.
Использование Enum везде, где только можно.
Контроль совпадения тегов в репозитории и в коде.
Упрощение кода, в связи с чем стало проще добавлять новые виды моделей.

Главная задача - утвердить или отклонить предлагаемые изменения. В связи с их большим количеством, предлагаю сначала сделать ревью этого PR, потом доработать в других PR, но в мастер влить одновременно все доработки.

В отдельных PR будет доработано:

Пресет GPU. Сейчас не работает так как надо.
Удален пресет TREE. Сейчас он в коде есть, но по факту его нет. Нужно вычищать код и тесты от него.
TODO.
Будут добавлены новые пресеты, которые будут выбираться автоматически при использовании PresetsEnum.AUTO (выбор моделей в зависимости от времени, выделенного на композицию, и размера данных так, чтобы в композицию не попали слишком требовательные по времени модели).
Фикс тегов atomized_model. Сейчас это просто костыль.

После завершения этого цикла PR добавлять новые типы моделей и теги станет гораздо проще. До этого добавление неминуемо вело к усложнению и еще большему запутыванию системы пресетов/тегов.

# Conflicts: # fedot/core/repository/data/data_operation_repository.json # fedot/core/repository/operation_types_repository.py

pep8speaks · 2024-01-19T15:44:37Z

Hello @kasyanovse! Thanks for opening this PR. We checked the lines you've touched for PEP 8 issues, and found:

In the file fedot/api/api_utils/presets.py:

Line 43:1: W293 blank line contains whitespace
Line 47:1: W293 blank line contains whitespace
Line 52:1: W293 blank line contains whitespace
Line 83:1: W293 blank line contains whitespace
Line 113:1: W293 blank line contains whitespace

In the file fedot/core/composer/gp_composer/specific_operators.py:

Line 9:121: E501 line too long (143 > 120 characters)
Line 76:121: E501 line too long (133 > 120 characters)

In the file fedot/core/operations/data_operation.py:

Line 3:121: E501 line too long (124 > 120 characters)
Line 27:121: E501 line too long (132 > 120 characters)

In the file fedot/core/pipelines/pipeline_advisor.py:

Line 14:121: E501 line too long (126 > 120 characters)

In the file fedot/core/pipelines/verification_rules.py:

Line 8:1: F401 'fedot.core.repository.operation_tags_n_repo_enums.DataOperationTagsEnum' imported but unused

In the file fedot/core/repository/operation_tags_n_repo_enums.py:

Line 9:1: E305 expected 2 blank lines after class or function definition, found 1
Line 10:121: E501 line too long (123 > 120 characters)
Line 11:121: E501 line too long (127 > 120 characters)
Line 12:121: E501 line too long (127 > 120 characters)
Line 13:121: E501 line too long (133 > 120 characters)
Line 14:121: E501 line too long (137 > 120 characters)
Line 16:121: E501 line too long (127 > 120 characters)
Line 20:121: E501 line too long (136 > 120 characters)

In the file fedot/core/repository/operation_types_repo_enum.py:

Line 13:1: F401 'fedot.core.repository.tasks.Task' imported but unused
Line 15:1: E302 expected 2 blank lines, found 1
Line 45:65: F821 undefined name 'EvaluationStrategy'
Line 71:1: W293 blank line contains whitespace
Line 74:1: W293 blank line contains whitespace
Line 75:32: E251 unexpected spaces around keyword / parameter equals
Line 75:34: E251 unexpected spaces around keyword / parameter equals
Line 77:1: W293 blank line contains whitespace
Line 91:1: W293 blank line contains whitespace
Line 95:1: W293 blank line contains whitespace
Line 105:1: W293 blank line contains whitespace
Line 113:1: W293 blank line contains whitespace
Line 116:1: W293 blank line contains whitespace
Line 120:1: W293 blank line contains whitespace
Line 127:9: E117 over-indented
Line 130:1: W293 blank line contains whitespace
Line 174:1: W293 blank line contains whitespace
Line 178:24: E127 continuation line over-indented for visual indent
Line 179:24: E127 continuation line over-indented for visual indent

In the file fedot/core/repository/operation_types_repository.py:

Line 1:1: F401 'enum.Enum' imported but unused
Line 1:1: F401 'enum.IntEnum' imported but unused
Line 2:1: F401 'itertools.chain' imported but unused
Line 3:1: F401 'json' imported but unused
Line 4:1: F401 'collections.defaultdict' imported but unused
Line 5:1: F401 'dataclasses.dataclass' imported but unused
Line 6:1: F401 'pathlib.Path' imported but unused
Line 7:1: F401 'typing.Union' imported but unused
Line 10:1: F401 'fedot.core.repository.operation_tags_n_repo_enums.ALL_TAGS' imported but unused
Line 10:1: F401 'fedot.core.repository.operation_tags_n_repo_enums.DataOperationTagsEnum' imported but unused
Line 10:1: F401 'fedot.core.repository.operation_tags_n_repo_enums.ModelTagsEnum' imported but unused
Line 10:121: E501 line too long (136 > 120 characters)
Line 16:1: F401 'fedot.core.repository.json_evaluation.import_enums_from_str' imported but unused
Line 16:1: F401 'fedot.core.repository.json_evaluation.import_strategy_from_str' imported but unused
Line 16:1: F401 'fedot.core.repository.json_evaluation.read_field' imported but unused
Line 20:5: F401 'fedot.core.operations.evaluation.evaluation_interfaces.EvaluationStrategy' imported but unused
Line 33:1: W293 blank line contains whitespace
Line 40:1: W293 blank line contains whitespace
Line 44:1: W293 blank line contains whitespace
Line 102:1: W293 blank line contains whitespace
Line 104:121: E501 line too long (125 > 120 characters)

In the file fedot/core/repository/pipeline_operation_repository.py:

Line 7:1: F401 'fedot.core.repository.operation_types_repo_enum.OperationReposEnum' imported but unused

In the file fedot/preprocessing/structure.py:

Line 23:42: F821 undefined name 'Pipeline'

github-actions · 2024-01-19T15:45:11Z

Code in this pull request still contains PEP8 errors, please write the /fix-pep8 command in the comments below to create commit with automatic fixes.

Comment last updated at

This reverts commit e19e5a9.

…ilder`

Lopa10ko

занести все тэги в Enum - очень хорошая идея.
выглядит чуть более формально, чем словари в переменных класса)

в скором времени все TODO и заделы на будущее можно растащить по отдельным issues

nicl-nno · 2024-02-12T16:36:53Z

README.rst

@@ -97,7 +97,7 @@ FEDOT предоставляет высокоуровневый API, котор

 .. code-block:: python

-    model = Fedot(problem='classification', timeout=5, preset='best_quality', n_jobs=-1)
+    model = Fedot(problem='classification', timeout=5, preset=PresetsEnum.BEST_QUALITY, n_jobs=-1)


Давайте в основные примеры это точно не выносить.

Хорошо что есть енум откуда можно взять значения при необходимости, но тянуть за собой дополнительные импорты выглядит слишком громоздко.

А один красивый импорт из fedot?

Чем проще - тем лучше. PresetsEnum.BEST_QUALITY со стороны внешнего пользователя выглядит как что-то сложное, в python-библиотеках такие решения во внешних API - большая редкость.

Есть вариант вынести константу вида BEST_QUALITY для импорта из федота. Будет что-то типа уровней логирования в logging, заданных константами на верхнем уровне библиотеки.

fedot/api/api_utils/presets.py

Lopa10ko · 2024-02-21T09:38:24Z

fedot/api/api_utils/presets.py

+        if value is PresetsEnum.AUTO:
+            value = PresetsEnum.FAST_TRAIN


я не уловил идею, почему при присваивании preset_name значение AUTO происходит подмена сразу на FAST_TRAIN? видимо, здесь пока WIP, потому что в таком случае хочется использовать модели, не требующие много времени на обучение

Потому что пресет авто должен в какой-то момент подменяться другим пресетом или должен везде интерпретироваться как другой пресет.
Когда появится логика, опирающаяся на этот пресет, можно будет оставить его как самостоятельную единицу, но сейчас это просто синоним фаст трейна.

Co-authored-by: George Lopatenko <81328772+Lopa10ko@users.noreply.github.com>

nicl-nno · 2024-05-07T14:33:12Z

Closed as obsolete

kasyanovse added 2 commits January 10, 2024 12:48

start

d91bc1e

Merge branch 'master' into operation-repo-refactor

cc0a8ba

# Conflicts: # fedot/core/repository/data/data_operation_repository.json # fedot/core/repository/operation_types_repository.py

kasyanovse added the refactoring label Jan 19, 2024

kasyanovse self-assigned this Jan 19, 2024

kasyanovse added 24 commits January 22, 2024 19:32

replace non-default by non_default

3c4f0d9

fix old auto preset param constant

10cb131

add feature_space_transformation tag

5fe2d6d

replace FAST_TRAIN_PRESET_NAME by PresetsEnum

d8b45cc

replace string presets by PresetsEnum

b86d9f0

delete *tree preset for label encoding

478aa60

add error for unknown operation

b4e7b82

fix error description

3ed3519

fix node tags definition

5d25998

fix tests in test_adapt_pipeline.py

68c471d

fix mode appearance in operation repo

affaebb

fix problem with tag aliasing

8e4bbaa

fix problem with tag aliasing in common way

e0fd98f

fix problem with new tags enum

a30299a

fix problem with nonexisting property

a6b7631

fix problem with visualization tag map

46ef1c2

return change_preset_for_label_encoded_data

e19e5a9

Revert "return change_preset_for_label_encoded_data"

65432fd

This reverts commit e19e5a9.

return change_preset_for_label_encoded_data

1244f17

temporary fix

564dc44

fix hack

9d06ed6

fix UniModalAssumptionsBuilder

3eec95d

fix str instead of OperationReposEnum in `MultiModalAssumptionsBu…

9d293e5

…ilder`

fix default repository_name in UniModalAssumptionsBuilder

c6e046e

kasyanovse added 12 commits February 3, 2024 16:52

fix non_lagged misprint

73c25bb

fix logit preset

7b34268

fix misprint

5863a16

temporary fix for 'sgd' model

ff19703

add todo task

249215c

fix test

0d936e3

delete old test

5fa7aec

fix test

1895ecf

temp test disabling

3749536

fix test with h20

ceaefd5

rename operation_tags module

fceca88

small pep8 fix

16725ec

kasyanovse marked this pull request as ready for review February 10, 2024 10:19

kasyanovse requested a review from Lopa10ko February 10, 2024 11:09

Lopa10ko reviewed Feb 12, 2024

View reviewed changes

nicl-nno reviewed Feb 12, 2024

View reviewed changes

fedot/api/api_utils/presets.py Show resolved Hide resolved

nicl-nno mentioned this pull request Feb 12, 2024

Made two changes for more user engagement and userfriendly coding #1037

Closed

kasyanovse added 6 commits February 18, 2024 13:02

test commit

b0c14a4

test commit

3ecc09b

test commit

7e36d04

test commit

b4c4137

test commit

263d853

test commit

f049db2

Lopa10ko reviewed Feb 21, 2024

View reviewed changes

kasyanovse and others added 2 commits March 8, 2024 12:50

Update fedot/api/api_utils/presets.py

631d1cd

Co-authored-by: George Lopatenko <81328772+Lopa10ko@users.noreply.github.com>

delete TREE preset

8dc0dc3

kasyanovse force-pushed the operation-repo-refactor branch from 43ad775 to 8dc0dc3 Compare March 8, 2024 11:03

nicl-nno closed this May 7, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Operation repo refactor #1253

Operation repo refactor #1253

kasyanovse commented Jan 19, 2024 •

edited

pep8speaks commented Jan 19, 2024

github-actions bot commented Jan 19, 2024 •

edited

Lopa10ko left a comment

nicl-nno Feb 12, 2024

kasyanovse Feb 12, 2024

nicl-nno Feb 12, 2024

kasyanovse Mar 3, 2024

Lopa10ko Feb 21, 2024 •

edited

kasyanovse Feb 21, 2024

nicl-nno commented May 7, 2024

Operation repo refactor #1253

Operation repo refactor #1253

Conversation

kasyanovse commented Jan 19, 2024 • edited

Summary

pep8speaks commented Jan 19, 2024

github-actions bot commented Jan 19, 2024 • edited

Comment last updated at

Lopa10ko left a comment

Choose a reason for hiding this comment

nicl-nno Feb 12, 2024

Choose a reason for hiding this comment

kasyanovse Feb 12, 2024

Choose a reason for hiding this comment

nicl-nno Feb 12, 2024

Choose a reason for hiding this comment

kasyanovse Mar 3, 2024

Choose a reason for hiding this comment

Lopa10ko Feb 21, 2024 • edited

Choose a reason for hiding this comment

kasyanovse Feb 21, 2024

Choose a reason for hiding this comment

nicl-nno commented May 7, 2024

kasyanovse commented Jan 19, 2024 •

edited

github-actions bot commented Jan 19, 2024 •

edited

Lopa10ko Feb 21, 2024 •

edited