You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
'KoNLP' R라이브러리에서 발생한 이슈관련입니다. 링크: haven-jeon/KoNLP#54 (comment)
KoNLP 라이브러리에서 추적하여보니 Hannanum의 SentenceSegmentor2와 관련있음을 확인했습니다.
SentenceSegementor2에서 java BreakIterator를 이용할시에 조건에 맞지 않는 문장이 들어올 경우가 있습니다. 현재까지 확인된 것은 아래와 같습니다.
'KoNLP' R라이브러리에서 발생한 이슈관련입니다. 링크: haven-jeon/KoNLP#54 (comment)
KoNLP 라이브러리에서 추적하여보니 Hannanum의 SentenceSegmentor2와 관련있음을 확인했습니다.
SentenceSegementor2에서 java BreakIterator를 이용할시에 조건에 맞지 않는 문장이 들어올 경우가 있습니다. 현재까지 확인된 것은 아래와 같습니다.
쉼표뒤에 세미콜론이 붙어 있어 그런지 문장분할이 정확히 되지않고 BreakIterator가 아래와 같이 분할합니다. Sp = White Space, FS = FullStop
공백이 생겼기에 SentenceSegmentor2의 doProcess()에서 70번째 라인의 substring을 하려하면 StringIndexOutOfBounds에러가 발생합니다.
KoNLP쪽에서 예외처리가 잘되어있으나, 여러 문장들을 순서대로 처리시에 (sapply를 이용하여) 위의 에러가 발생하고나면 bufSents가 초기화 되지않고, 이전의 값을 가지고 있습니다. 따라서 다음의 시나리오가 발생합니다.
SegtenceSegmentor2.scala파일의 doProcess()함수안에 bufSents를 초기화하는 예외처리문을 넣어야 합니다.
발견된 케이스.
예문: 가식적인 내용전개와 캐릭터들이. . .;;;; => 가식적인 내용전개와 캐릭터들이{FS}{Sp}{FS}{Sp}{Semicolonx4}
The text was updated successfully, but these errors were encountered: