Разбиение на морфемы с помощью нейронных сетей

Репозиторий содержит нейронную модель для автоматического деления на морфемы, обученную на подвыборке, взятой из морфологического словаря А. Н. Тихонова. Статья с описанием модели содержится по ссылке.

Чтобы протестировать обученную модель на тестовой подвыборке, запустите

python neural_morph_segm.py config/morph_config_load.py

Чтобы повторить обучение модели, запустите

python neural_morph_segm.py config/morph_config.py

Структура репозитория

• Articles: статьи, использующие код из реепозитория.
• сonfig: конфигурационные файлы.
• data: обучающая и контрольная выборка (случайное разбиение морфологического словаря А. Н. Тихонова).
• models: сохранённые модели.
• neural_morph_segm.py: основной файл с кодом модели.
• read.py: чтение входных данных.
• tabled_trie.py: вспомогательные манипуляции с префиксным бором.

Зависимости

• python3
• keras
• theano или tensorflow
• numpy