Предварительная токенизация слов

[qertis]

Взять за основу
https://github.com/spencermountain/compromise

[qertis]

с этим должна повыситься точность, также можно будет распределять одно предложение на несколько действий

например, пользователь пишет:

сегодня пошел и купил сыра на 100 граммов

предложение нужно будет перепрочитать по умному:

когда? - сегодня - получаем абстрактное время от пользователя, которое нужно перевести в более точное.

что сделал? - купил сыра -> говорим что произошло действие "покупка", ищутся все предыдущие связи для актуализации этой покупке (место, время, валюта, ищется стоимость, кому была отправлена транзакция, из каких ресурсов)

купил что? сыр - 100 грамм -> из БД продуктов ищется сыр 100 грамм и прикрепляется ссылка

[qertis]

Нужна библиотека которая будет детектировать имена людей

[qertis]

поставил compromise

[qertis]

вот еще - https://github.com/deNULL/Az.js

[qertis]

нужно обрабатывать ссылки на сервере и на клиенте выдается уже нормализованный вид текста (html)

[qertis]

связано с #84

[qertis]

токенизация делается через google language

      const { tokens } = await languageService.annotateText(this.#spelledText, this.language[0]);