NLP init

[BarabanovaIrina]

• New method InputData.from_text(), where you can pass meta_file.csv with text in it or path to directories with text files
• New TextData class, where all the nlp utils are located. Not expected to use directly.

Current idea is: text files -> feature extraction (make table data, not text) -> pass to model/chain

• Finish BatchLoader for creation of meta_file.csv for collections of data (images, text)

• Finish the text files -> meta_file.csv

• Add tests

• add packed data && unpacking script

[codecov]

Codecov Report

Merging #212 (71fc1a8) into master (0d91b41) will increase coverage by 0.13%.
The diff coverage is 89.00%.

@@            Coverage Diff             @@
##           master     #212      +/-   ##
==========================================
+ Coverage   85.61%   85.74%   +0.13%     
==========================================
  Files         104      108       +4     
  Lines        6619     6813     +194     
==========================================
+ Hits         5667     5842     +175     
- Misses        952      971      +19     

Impacted Files	Coverage Δ
fedot/core/models/model.py	97.02% <ø> (-0.03%)	⬇️
fedot/core/data/data.py	79.35% <27.27%> (-8.62%)	⬇️
fedot/core/models/evaluation/vectorize.py	94.11% <94.11%> (ø)
fedot/core/data/load_data.py	94.54% <94.54%> (ø)
fedot/core/data/preprocessing.py	96.58% <95.74%> (-0.57%)	⬇️
fedot/core/models/evaluation/evaluation.py	84.90% <100.00%> (+0.14%)	⬆️
fedot/core/repository/dataset_types.py	100.00% <100.00%> (ø)
test/chains/test_chain_tuning.py	100.00% <100.00%> (ø)
test/data_operations/test_preprocessing.py	100.00% <100.00%> (ø)
test/models/test_strategy.py	100.00% <100.00%> (ø)
... and 10 more

---

Continue to review full report at Codecov.

Legend - Click here to learn more
Δ = absolute <relative> (impact), ø = not affected, ? = missing data
Powered by Codecov. Last update 0d91b41...71fc1a8. Read the comment docs.

[nicl-nno]

Так и задумано?)

[BarabanovaIrina]

Так и задумано?)

Сори, я подумала, что так делать не стоит, но все равно сделала. Может вынесем cases в отдельный репо?) Я просто не придумала, как эти файлы скачивать откуда-то или куда их положить.

[nicl-nno]

Так и задумано?)

Сори, я подумала, что так делать не стоит, но все равно сделала. Может вынесем cases в отдельный репо?) Я просто не придумала, как эти файлы скачивать откуда-то или куда их положить.

Кмк простейший вариант - можно их запаковать в архив (tar, например) и при первом запуске распаковывать (вызывая для этого отдельный скрипт за пределами цепочки).

Вот как тут с MNIST делают https://github.com/jmmanley/conv-autoencoder/blob/master/mnist_test.ipynb

[BarabanovaIrina]

Так и задумано?)

Сори, я подумала, что так делать не стоит, но все равно сделала. Может вынесем cases в отдельный репо?) Я просто не придумала, как эти файлы скачивать откуда-то или куда их положить.

Кмк простейший вариант - можно их запаковать в архив (tar, например) и при первом запуске распаковывать (вызывая для этого отдельный скрипт за пределами цепочки).

Ок, пока просто уберу их, а то даже ревью не сделать

[BarabanovaIrina]

в test теперь есть папка utilities, там тесты для файлов из fedot.utilities (но пока без synthetic)

[BarabanovaIrina]

Еще предлагаю убрать тесты на real_cases - потому что они не unit, или замокать, если в них все таки есть необходимость. Если дело в покрытии, то codecov можно настроить только на feodt директорию, а не весь репо.

Сейчас видимо та самая ситуация, когда завис композер (если я правильно поняла) и билд был отменен по истечение 40 минут.

[nicl-nno]

Еще предлагаю убрать тесты на real_cases - потому что они не unit, или замокать, если в них все таки есть необходимость. Если дело в покрытии, то codecov можно настроить только на feodt директорию, а не весь репо.

Сейчас видимо та самая ситуация, когда завис композер (если я правильно поняла) и билд был отменен по истечение 40 минут.

Обсудили в тг, что пока можно и отключить проблемный тест, но в перспективе хорошо бы вынести полноценный прогон cases и тяжеловесных examples в интеграционные nightly-тесты (раз гитхаб экшензы это умеют https://docs.github.com/en/free-pro-team@latest/actions/reference/events-that-trigger-workflows#scheduled-events)

[BarabanovaIrina]

@nicl-nno Добавила архив и функцию разархивирования в spam-detection.py

[J3FALL]

@BarabanovaIrina Ира, а можешь еще в readme добавить ссылку на твой скрипт cases/spam_detection.py?
Вот сюда:

[J3FALL]

Еще резонно добавить описание примера с текстами в readthedocs, но можно это сделать в рамках другой задачи:
see #219.

There is already an approval