네이버 검색량 기반 식품 검색어 이상탐지모델 구축 (Anomaly Detection Model for Food Terms Based on Naver Keyword Search Volume)

주요 과정은 PDF 파일을 참고해주세요

① 네이버 데이터랩 ‘통합검색어 트렌드 API’를 이용한 ‘상대적 검색량’ 추출

② ‘NAVER Search Ad API(네이버광고API)’를 이용한 검색량 상대값→절대값 변환

③ 시계열 예측 모델(prophet)을 이용한 검색어의 ‘일반적인 검색량’ 예측

④ 일반적인 검색량 대비 실제 검색량이 높은 이상 항목 탐지(Anomaly Detection)

⑤ 이상 검출 항목 라벨링 및 전처리(‘[검색어, 시작일자, 종료일자]’ 형태로 변환)

⑥ 검출된 검색어와 기간에 해당하는 뉴스 크롤링

⑦ 자연어처리를 위한 사전 구축 및 텍스트 전처리

⑧ 형태소 분석기를 이용한 뉴스 제목 내 명사 추출

⑨ 검출된 검색어와 기간에 대한 뉴스 내 주요 키워드 분석 (SNA,워드클라우드,TF-IDF)

⑩ 스케줄러를 이용한 이상검색량 자동점검 및 업데이트(어제 이상검색량이 발생할 경우 카카오톡 나에게 보내기를 통해 알림 제공)