Выделяемые из текста цепочки слов

[KotIva]

Здравствуйте. Столкнулся с необходимостью рассмотреть 2 предложения разделенные знаком переноса строки как одну. Подскажите пожалуйста, есть ли способ это сделать? Пытался добавить в строку подобную конструкцию : (EOSent), но это не сработало. И если кто знает - можете поподробнее рассказать про этот терминал EOSent, принцип работы и использования?

[victorbocharov]

EOSent нужен для того, чтобы правило срабатывало на конце предложения. Подразумевается, что после EOSent уже ничего не сработает, т.к. дальше токенов в предложении нет.

Приведите пример двух предложений, которые не склеились.

[KotIva]

[victorbocharov]

Конец предложения после аббревиатур - это частотная проблема. Она решается добавлением словаря аббревиатур. См. #46

Двойной перенос строки считается концом предложения. Так было задумано. Если это неудобно, то лучше сделать препроцессинг и убрать двойной перенос строки или даже лишние точки. Длинные предложения, которые получатся после удаления точек, на некоторых грамматиках могут увеличить время работы парсера.

[KotIva]

Спасибо за ответ. А есть где-либо расширенная документация по Томите ну или не подскажите где можно найти более тонкие аспекты Томиты, чем те, которые описаны в официальной документации ?

[victorbocharov]

Нет, тайной внутренней документации нет. Большинство типовых вопросов есть в тикетах. Остальное - в коде. Если не находите ответа на свой вопрос, то открывайте новый тикет.

[KotIva]

Понял. Спасибо.