Словарь корпуса русского языка

[audetv]

Сделал пакет для формирования словаря https://github.com/terratensor/vocab

Сформировал для примера различные версии словарей из 50 книг КОБ. С разной сортировкой, по частоте или по алфавиту, с пунктуацией и без, приведенные токен к нижнему регистру.

https://github.com/terratensor/vocab/tree/main/vocab

Планирую сделать словарь/словари для нашей общей библиотеки 140к+ ВИБ + КОБ + Топонимы + 20К новые, и можно разбавить словарем ФКТ.

Далее использовать словари для обучения нейросетей и для эмбедингов. Полагаю, эти словари могут быть и в открытом доступе. Не корпуса, а словари, хотя по факту, скорее всего от них будет мало толку без корпуса.

Должно быть не хуже, я считаю даже лучше, чем то, что сейчас есть в свободном доступе: википедии и либрусек из художественной литературы новостей Лента, ТАСС и РИА, и Твиттере…

Вот здесь есть подборка https://github.com/natasha/corus?tab=readme-ov-file#reference

Эти корпуса и словари из них использовались в различных моделей, которые понимаю русский язык, большинство в свободном доступе в той или иной мере используют корпуса из этой подборки. Там есть либрусек 150Гб, но скачать его не удалось, художественная литература…

Я так понял, что когда кто-то из ребят берется дообучить модель, он обычно использует датасеты и сетки на основе этих корпусов.

[iprst]

vocab_freq.txt

Первое содержащее смысл слово по частоте входов — управления.

41 управления, 8571
48 жизни, 7492
65 общества, 5757
69 СССР 5377
71 России 5060
72 основе 5022
73 которые 5001
74 все 4996
75 людей 4952

[audetv]

Ага, я на это тоже обратил внимание, на управление и на жизнь, общество, СССР. Вы далее продолжили и эта последовательность теперь выглядит почти смысловым предложением — суть книг КОБ.

[iprst]

Планирую сделать словарь/словари для нашей общей библиотеки 140к+ ВИБ + КОБ + Топонимы + 20К новые, и можно разбавить словарем ФКТ.

Что в данном случае подразумевается под «топонимами» в плане исходного корпуса текстов? Я правильно понимаю, что такой словарь и последующие модели на его основе будут нести задачу обнаружения или распознания топонима в стороннем тексте? Я правильно понимаю, что словари служат в роли связующего звена между сущностями «таблицы и базы» и сущностями «нейросети и модели»?

[audetv]

Да. это как-бы словарь без корпуса… интересно. Если подумать, то окажется, что этот csv сет можно будет использовать для обучения сети для разметки топонимов в текстах. Но сначала придется подумать) И строгие правил, которые вы придумали для дип сик, когда проводили эксперименты и в итоге получился eventmap, думаю могут сильно помочь в коррекции обучающего набора для сети.
Если я правильно помню, я перенес этот сет в postgres БД, надо будет освежить информацию. И кажется позже придумал, и согласился сам с собой, что эти данные можно разместить и в мантикоре. Кажется у меня был вопрос с uint64 и где-то я делал записи по этому поводу, как решить это вопрос с мантикорой.

[iprst]

Нужно сделать учебный сет, где вручную разметить топонимы. Банально можно использовать eventmap, и совместить приятное с полезным — пока размечаешь новости, заодно выделяются топонимы в тексте. Передавать результат в специальную таблицу с сетом. Оттуда плясать. Я не смог сделать нормальный парсер текста с сайта, работает криво, но в целом это возможно. Таким образом при разметке новости можно получать сразу и топоним в конструкции хайлайта (то, что передаётся в яндекс апи), и текстовую портянку новости (парсером). В один клик, так сказать, будет пополняться и учебная таблица, и набор маркеров.

Правил коррекции дипсик придумает много, я уже пробовал — он генерирует горшочек не вари, то есть будет из чего выбрать.

Если фокусироваться на геоматрице, то получится сразу единая связная система (чем бы она ни была) и таким образом все наработки пойдут в дело. Отдельные модули могут существовать и вовне геоматрицы, если нужна «чисто библиотека» это не проблема, однако все они будут прогрессировать совместно, без глубинных перекосов, за счёт существующего ориентира.

[iprst]

перенес этот сет в postgres БД, надо будет освежить информацию. И кажется позже придумал, и согласился сам с собой, что эти данные можно разместить и в мантикоре. Кажется у меня был вопрос с uint64 и где-то я делал записи по этому поводу, как решить это вопрос с мантикорой.

Да, мы это обсуждали тогда.

Таблица топонимов с геохэшами, плюс таблица исторических маркеров с геохэшами. Таблицы отчасти пересекаются. Когда есть таблица с геохэшами в мантикоре, можно сразу прикрутить тот сервис, который считает геохэши вокруг линий и прочих геометрий — то есть осуществлять поиск маркеров на резонансах и азимутах с помошью индекса геохэшей в таблицах сущностей. Это, фактически, готовое ядрое первого выката публичного сервиса «пришли новость получи список связанных статей».

[audetv]

Так, хорошо. https://github.com/terratensor/datasets-parser это итоговая таблица с топонимами и геохешами.
А таблица с историческими маркерами это какая?, напомните мне. Может надо по этому вопросу уйти в другую ветку? Или сделать отдельное обсуждение? После предложения: «Таблицы отчасти пересекаются.» следует текст с очень сильно сжатым лексическим оформлением будущего функционала, у меня аж калейдоскоп затрещал. Надо все это восстановить. прочитать ссылки. Есть некоторые детали, которые мне не очень ранее были понятны, надо подойти к распутыванию этого клубка и идти по шагам. Иначе происходит отвал головы и переключение на другое, убегание. Но надо возвращаться и делать. Пора.

[iprst]

по этому вопросу уйти в другую ветку?

Сделано. Кратко описал вселенную и всё такое 42.
https://github.com/terratensor/geomatrix/discussions/105