감성분석과 품사비율을 이용한 이상 리뷰 탐지 모델

Contest

2021 한국소프트웨어종합학술대회 (KSC2021) 학부생 부분 참가

Summary

• 이상 리뷰 정의
• 배달 앱에서 사용되는 리뷰들 중 이상 리뷰를 탐지하는 모델 구성

Duration

2021.06.09 ~ 2021.11.30

About Project

1. 이상 리뷰 정의

2. 이상 리뷰 탐지 모델 구성 개요

3. 데이터셋

배달 서비스 '요기요'에서 웹 크롤러를 이용해 약 10000개의 데이터(리뷰, 별점) 수집, 전처리 및 레이블링 실시

4. 감성 분석

5. 품사 분석

6. 성능 분석

(1) 감성 분석 모델에 테스트 데이터셋을 적용한 결과 약 80%의 정확도(accuracy)를 나타냄
(2) 품사 분석 모델에 테스트 데이터셋을 적용한 결과 약 6%의 오탐율(false positive)을 나타냄

Result

Future challenges

• 많은 데이터셋을 확보해 모델을 학습, 정확도 향상
• 줄임말, 이모티콘을 포함한 이상 리뷰 탐지 가능

느낀 점

• 이번 연구에서 테스트 데이터셋을 사용해 모델의 정확도를 측정했지만, 리뷰의 형태가 워낙 다양하기 때문에 사실상 정확도가 의미가 없을 것 같다.
• 품사 분석 모델의 성능 분석을 위해 오탐율을 사용했지만, 이는 적절한 분석이 아니라 생각해 사실상 두 모델의 성능을 측정할 수 없다.
• 첫 연구이기도 했고, 팀원이 5명이었지만 사실상 참여한 인원은 적었기에 연구의 완성도가 떨어지는 점에서 아쉬움이 있다. 또한, 연구 분야에 대한 이해도가 부족했기에 더 나은 연구 방향으로 흘러가지 못한 것 같아 아쉬웠다. 다음 연구를 진행할 시에는 시간이 걸리더라도 연구 분야에 대한 공부를 충분히 한 뒤 접근해야겠다. 그래도 처음으로 팀으로 연구를 진행해서 서로 의견을 나누고, 조율하는 과정이 재미있었다. 약 6개월동안 연구의 처음부터 끝까지 마무리 했다는 점에서 뿌듯했고, 이를 바탕으로 다음 연구에서는 더 효율적으로 연구를 할 수 있을 것 같다.