Сервис для автоматического упрощения текстов на русском языке. Проект в раках курса My First Data Project от университета ИТМО.
Корпус: RuSimpleSentEval + RuAdapt.
Бейзлайн: берем несколько первых сиинтаксических уровней каждого текста, заменяем слова на более простые синонимы.
Синонимы из этого списка + подбираются по текстам корпуса с помощью fastText.
Код лежит в папке baseline, эксперименты - там же, в ноутбуке baseline simplification.ipynb.
Модель: t5 (несколько вариантов моделей).
Код для обучения и инференса в папке seq2seq, эксперименты - там же, в ноутбуке seq2seq_simplification for simplification.ipynb.
Также провела эксперимент с созданием модели для усложнения текстов - код в ноутбуке complication.ipynb.
Метрики: SARI, BLEU, FKGL (модифицированная для русского языка).
Код для экспериментов и подсчета метрик - в папке experiments.
Чекпоинты метрик для нейросети хранятся в файле с логами (seq2seq/train.logs). Для бейзлайна метрики в ноутбуке baseline simplification.ipynb.
Обертка: cервис обернут в телеграм-бота, который делает запросы к API модели на huggingface (M-A-E/russian_text_simplification).
Код в папке bot.
Сам бот хостится на pythonanywhere и доступен по ссылке: https://t.me/TextSimplifierBot.
Также в разработке расширение для Google Chrome. Подробности в папке extension.
API сервиса упакован в docker-контенейнер. Подробности в app.