Автоматическая оценка грамматичности с помощью нейронных языковых моделей

В лингвистике принято считать, что основным свойством языковой способности человека является возможность определять, насколько грамматически корректно предложение. Под грамматичностью в данном случае подразумевается не методическая правильность в соответствии со школьными знаниями, а именно интуитивная оценка, основанная на врожденной грамматике человека. Подобные суждения говорящих о правильности языкового высказывания получили название «оценок грамматичности». Лингвисты используют суждения о грамматичности для исследования синтаксической структуры предложений. Поскольку человеческие суждения о грамматичности выступают как один из основных типов данных для моделирования языковой способности людей, возможно использовать автоматические суждения о грамматичности для оценки языковой способности нейронных моделей. Так, современные нейросетевые модели достигают высокой степени компетентности во многих прикладных задачах понимания естественного языка: анализ тональности, логический вывод по тексту, поиск ответа на вопрос в тексте. Цель данного исследования состоит в том, чтобы оценить, насколько языковые модели обладают знаниями грамматики. В работе используется трансферное обучение предобученных языковых моделей и дообучение их на задачу оценки грамматичности.

Данные представлены в разделе data, результаты обучения – в разделе models, подробное описание исследования - в разделе papers.