В контесте AIJ AI 4 Humanities: ruGPT-3 требовалось научить нейросеть генерировать осмысленные сочинения в формате ЕГЭ по гуманитарным предметам.

• За основу были взяты GPT2Large и GPT3Medium из проекта ru-gpts. Они отличаются размером контекста и перплексией, поэтому GPT3Medium использовалась для сочинений по русскому, а GPT2Large по литературе, обществознанию и истории.
• В качестве данных для обучения использовались сочинения прошлых лет, которые вручную очищались с помощью regex.
• На каждую тему генерировалось несколько сочинений, каждое из которых оценивалось по косинусному сходству с исходной темой. Самое близкое считалось ответом.

В репозитории есть сгенерированные сочинения, данные для обучения и код для обучения и генерации. Обученные модели: GPT2Large, GPT3Medium.

Пример сгенерированного сочинения по истории на тему "Период истории России 1925-1943 гг. (индустриализация и коллективизация страны)":

Историки оценивают период 1924—1953 годов неоднозначно, отмечая как индустриализацию, так и масштабные репрессии против «врагов народа». В целом историки признают необходимость форсированной модернизации советской экономики в интересах скорейшего восстановления народного хозяйства после гражданской войны и усиления военного потенциала страны. Вместе с тем многие из них подчеркивают непоследовательность политики Советского правительства по отношению к крестьянству. С одной стороны, государство проводило политику расширения закупок сельскохозяйственной продукции у населения, стремилось привлечь иностранные инвестиции; были осуществлены первые массовые кампании по борьбе со взяточничеством на селе; развернулось активное строительство жилья для рабочих городов. Другой стороной медали стал массовый террор периода 30-х — 40-х годов прошлого века: необоснованные аресты, выселения целых деревень, массовое переселение семей «кулаков» за границу.