문장 분리시 불규칙한 괄호 행방불명 문제

[smbslt3]

안녕하세요

아래와 같은 문장을 split_sentences 이용하여 문장을 분리하면, 불규칙하게 괄호가 삭제됩니다.

ttst = '''고교·대학 연계 ‘조기 직업교육’ 아시나요? 
대경대학교가 국내 최초로 도입한 ‘조기 직업교육’ 시스템이 눈길을 끌고 있다. 대경대는 2014년 9월 국제조기전공 선택 인재육성학교로 ‘유파스’(UPAS`Universal Preforming Arts School)를 설립했다. 고등 과정 3년과 대학 2, 3년 과정을 연계한 새로운 개념의 학교이다. 대학 과정에서는 본교와 해외 유명 직업교육 대학을 연계한다. ◆교육 혁신 유파스 입학생들은 고교 과정에서부터 1개 분야가 아닌 다중 전공을 선택할 수 있다. 고교 2년까지 전공을 바꿀 수 있으며 3년 과정에서 전공을 확정해 대학교육과 연계한다. 전공 분야는 모델, 연극영화, 실용음악, 동물조련, IT(프로그래밍, 게임제작, 디자인), 호텔매니지먼트, 호텔조리, 제과제빵, 항공운항, 실용댄스, 뮤지컬, 뷰티계열 등으로 다양하다. 고교 3년 과정 동안 고교 일반 교과, 교양, 방과 후 활동, 협동수업, 인문학 수업 등을 공통으로 진행한다. 전공을 선택한 학생들은 유파스가 운영하고 있는 국내 유일의 커리큘럼을 통해 전문 직업인으로 성장한다.'''

print(split_sentences(ttst))

>>> ['고교·대학 연계 ‘조기 직업교육’ 아시나요?', '대경대학교가 국내 최초로 도입한 ‘조기 직업교육’ 시스템이 눈길을 끌고 있다.', "대경대는 2014년 9월 국제조기전공 선택 인재육성학교로 ‘유파스’ UPAS'Universal Preforming Arts School)를 설립했다. 고등 과정 3년과 대학 2, 3년 과정을 연계한 새로운 개념의 학교이다. 대학 과정에서는 본교와 해외 유명 직업교육 대학을 연계한다. ◆교육 혁신 유파스 입학생들은 고교 과정에서부터 1개 분야가 아닌 다중 전공을 선택할 수 있다. 고교 2년까지 전공을 바꿀 수 있으며 3년 과정에서 전공을 확정해 대학교육과 연계한다. 전공 분야는 모델, 연극영화, 실용음악, 동물조련, IT(프로그래밍, 게임제작, 디자인 , 호텔매니지먼트, 호텔조리, 제과제빵, 항공운항, 실용댄스, 뮤지컬, 뷰티계열 등으로 다양하다.", '고교 3년 과정 동안 고교 일반 교과, 교양, 방과 후 활동, 협동수업, 인문학 수업 등을 공통으로 진행한다.', '전공을 선택한 학생들은 유파스가 운영하고 있는 국내 유일의 커리큘럼을 통해 전문 직업인으로 성장한다.']

(위 내용에 가독성을 위해 문장 별로 줄바꿈을 삽입)

ttst = '''고교·대학 연계 ‘조기 직업교육’ 아시나요? 
대경대학교가 국내 최초로 도입한 ‘조기 직업교육’ 시스템이 눈길을 끌고 있다. 
대경대는 2014년 9월 국제조기전공 선택 인재육성학교로 ‘유파스’(UPAS`Universal Preforming Arts School)를 설립했다. 
고등 과정 3년과 대학 2, 3년 과정을 연계한 새로운 개념의 학교이다. 대학 과정에서는 본교와 해외 유명 직업교육 대학을 연계한다. 
◆교육 혁신 유파스 입학생들은 고교 과정에서부터 1개 분야가 아닌 다중 전공을 선택할 수 있다. 
고교 2년까지 전공을 바꿀 수 있으며 3년 과정에서 전공을 확정해 대학교육과 연계한다. 
전공 분야는 모델, 연극영화, 실용음악, 동물조련, IT(프로그래밍, 게임제작, 디자인), 호텔매니지먼트, 호텔조리, 제과제빵, 항공운항, 실용댄스, 뮤지컬, 뷰티계열 등으로 다양하다. 
고교 3년 과정 동안 고교 일반 교과, 교양, 방과 후 활동, 협동수업, 인문학 수업 등을 공통으로 진행한다. 
전공을 선택한 학생들은 유파스가 운영하고 있는 국내 유일의 커리큘럼을 통해 전문 직업인으로 성장한다.'''

print(split_sentences(ttst))

>>> ['고교·대학 연계 ‘조기 직업교육’ 아시나요?', 
'대경대학교가 국내 최초로 도입한 ‘조기 직업교육’ 시스템이 눈길을 끌고 있다.', 
"대경대는 2014년 9월 국제조기전공 선택 인재육성학교로 ‘유파스’ UPAS'Universal Preforming Arts School)를 설립했다. 
고등 과정 3년과 대학 2, 3년 과정을 연계한 새로운 개념의 학교이다. 대학 과정에서는 본교와 해외 유명 직업교육 대학을 연계한다. 
◆교육 혁신 유파스 입학생들은 고교 과정에서부터 1개 분야가 아닌 다중 전공을 선택할 수 있다. 
고교 2년까지 전공을 바꿀 수 있으며 3년 과정에서 전공을 확정해 대학교육과 연계한다. 
전공 분야는 모델, 연극영화, 실용음악, 동물조련, IT(프로그래밍, 게임제작, 디자인 , 호텔매니지먼트, 호텔조리, 제과제빵, 항공운항, 실용댄스, 뮤지컬, 뷰티계열 등으로 다양하다.",
 '고교 3년 과정 동안 고교 일반 교과, 교양, 방과 후 활동, 협동수업, 인문학 수업 등을 공통으로 진행한다.', 
'전공을 선택한 학생들은 유파스가 운영하고 있는 국내 유일의 커리큘럼을 통해 전문 직업인으로 성장한다.']

문장 분리가 제대로 되지 않는 것은 물론 (safe=True/False 두 경우 모두 해당), UPAS 나 IT(프로그래밍~ 부분의 괄호가 삭제됩니다.

[hyunwoongko]

네 이슈 감사합니다.

시간 나는대로 확인해보고 답변드리겠습니다.

[hyunwoongko]

문제 재현결과 UPAS` 때문인 것으로 보이는데요.

원래 따옴표 사이의 문장은 분절하지 않는 것이 원칙이기에 " ` " 뒤에 있는 문장들이 따옴표 내부의 문장으로 인식되어 그런 것 같습니다. 괄호가 사라지는 문제는 괄호, 따옴표 등의 수가 일치하지 않을 때 발생하는 문제를 해결하기위해 수가 일치하지 않아도 복구하는 나이브한 메커니즘을 도입해놨는데 거기에서 발생한 문제입니다. (코드에 실제로 괄호 제거되도록 짜여있어요)

우선은 당장 해결은 어려울 것 같고 조금 더 지켜보고 해결 방안을 찾아보도록 하겠습니다.

[hyunwoongko]

우선은 해당 케이스에 대한 문제는 해결했구요 (pip install kss --upgrade를 통해 업그레이드 해주세요.)

>>> from kss import split_sentences
>>> split_sentences("""고교·대학 연계 ‘조기 직업교육’ 아시나요? 대경대학교가 국내 최초로 도입한 ‘조기 직업교육’ 시 스템이 눈길을 끌고 있다.  대경대는 2014년 9월 국제조기전공 선택 인재육성학교로 ‘유파스’(UPAS`Universal Preforming Arts School)를 설립했다. 고등 과정 3년과 대학 2, 3년 과정을 연계한 새로운 개념의 학교이다. 대학 과정에서는 본교와 해외 유명 직업교육 대학을 연계한다.  ◆교육 혁신 유파스 입학생들은 고교 과정에서부터 1개 분야가 아닌 다중 전공을 선택할 수 있다.  고교 2년까지 전공을 바꿀 수 있으며 3년 과정에서 전공을 확정해 대학교육과 연계한다. 전공 분야는 모델, 연극영화, 실용음악, 동물조련, IT(프로그래밍, 게임제작, 디자인), 호텔매니지먼트, 호텔조리, 제과제빵, 항공운항, 실용댄스, 뮤지컬, 뷰티계열 등으로 다양하다. 고교 3년 과정 동안 고교 일반 교과, 교양, 방과 후 활동, 협동수업, 인문학 수업 등을 공통으로 진행한다. 전공을 선택한 학생들은 유파스가 운영하고 있는 국내 유일의 커리큘럼을 통해 전문 직업인으로 성장한다.""")

['고교·대학 연계 ‘조기 직업교육’ 아시나요?', '대경대학교가 국내 최초로 도입한 ‘조기 직업교육’ 시스템이 눈길을 끌고 있다.', '대경대는 2014년 9월 국제조기전공 선택 인재육성학교로 ‘유파스’(UPAS`Universal Preforming Arts School)를 설립했다. 고등 과정 3년과 대학 2, 3년 과정을 연계한 새로운 개념의 학교이다.', '대학 과정에서는 본교와 해외 유명 직업교육 대학 을 연계한다.', '◆교육 혁신 유파스 입학생들은 고교 과정에서부터 1개 분야가 아닌 다중 전공을 선택할 수 있다. 고교 2년까지 전공을 바꿀 수 있으며 3년 과정에서 전공을 확정해 대학교육과 연계한다.', '전공 분야는 모델, 연극영화, 실용음악, 동물조련, IT(프로그래밍, 게임제작, 디자인), 호텔매니지먼트, 호텔조리, 제과제빵, 항공운항, 실용댄스, 뮤지컬, 뷰티계열 등으로 다양하다.', '고교 3년 과정 동안 고교 일반 교과, 교양, 방과 후 활동, 협동수업, 인문학 수업 등을 공통으로 진행한다.', '전공을 선택한 학생들은 유파스가 운영하고 있는 국내 유일의 커리큘럼을 통해 전문 직업인으로 성장한다.']

그러나 괄호가 제거되는 문제는 여전히 해결해야 할 문제입니다.
좋은 문제 지적해주셔서 감사합니다. 우선 이 이슈는 닫고 향후 버전에서 이 문제에 대해 다뤄보도록 하겠습니다.

[hyunwoongko]

문제를 해결했습니다. 확인해보시겠어요?