[문제정의] 개인화를 위한 취향 데이터 수집 및 정제

[LearningnRunning]

1. 카테고리 (diner_category_middle/small/detail)

진행중인 discussion

음식점 데이터의 카테고리는 large, middle, small의 단계로 구성되어 있습니다. 1기에서 large 단계의 카테고리 정리를 완료하였으며, 이 과정에서 데이터 밸런스를 최대한 맞추고 large 단계에 속했던 프랜차이즈 이름을 적절히 재배치하였습니다.

그러나 middle 단계의 카테고리에는 아직 몇 가지 해결해야 할 문제가 있습니다:

(1) 프랜차이즈 재배치

• large 단계에서와 마찬가지로, middle 단계에도 여전히 프랜차이즈 브랜드명이 혼재되어 있습니다. 프랜차이즈 브랜드명을 카테고리에서 분리하고 일반 음식점의 특성과 통일성을 유지하기 위해서는 별도의 기준을 수립하여 프랜차이즈 브랜드를 명확히 재배치해야 합니다. 이를 통해 음식점의 성격을 더 명확히 나타낼 수 있고, 모델 학습 시 프랜차이즈라는 특정성이 일반 카테고리 특성을 왜곡하지 않도록 예방할 수 있습니다.

(2) 결측값(null) 처리

• middle 단계에는 상당수의 카테고리 결측값이 존재합니다. null값을 효과적으로 채워주는 것이 중요하며, 이를 위해 다음과 같은 접근 방법을 고려할 수 있습니다:
  • 규칙 기반(rule-based) 방법: 메뉴명(diner_menu_name), 태그(diner_tag), 리뷰어 태그(diner_review_tags) 등 다른 속성 데이터를 활용하여 규칙을 만들어 카테고리를 유추합니다.
  • 머신러닝 기반(machine learning) 방법: 기존의 충분히 분류된 데이터를 학습 데이터로 활용하여 supervised learning 기반의 분류 모델을 구축하고 null값을 예측하여 채워 넣을 수 있습니다.

이러한 접근 방법의 효과성을 검증하기 위해서는 예측 모델의 정확도를 평가하고, 이후 데이터의 균형성과 일관성을 검토하여 카테고리 정보의 신뢰성을 확보해야 합니다.

2. 메뉴(diner_menu_name)

"['마초생갈비 (220g)', '마초갈비 (250g)', '마초왕갈비 (300g)', '삼겹살 (180g)', '꽃목살 (180g)', '마초이동갈비 (360g)', '마초꽃살 (180g)']",
 "['소반마리', '진꽃살', '황제갈비살', '오겹살', '삼겹살']",
 "['삼겹살(110g)', '생삼겹살(110g)', '항정살(110g)', '돼지껍데기(100g)', '한우된장', '각삼겹살(110g)', '대패우삼겹(110g)', '소갈빗살(100g)', '묵은지찌개', '물냉/비냉', '차돌된장찌개', '비빔라면']",
 "['오늘의백반', '제육볶음백반', '김치찌개백반', '돌솥비빔밥', '생삼겹살', '닭볶음탕', '매운국물닭발', '돼지김치찌개', '부대찌개', '제육볶음', '두부김치', '골뱅이소면']",
 "['쭈꾸미 X 소대창', '쭈곱새', '신쭈꾸미', '쭈꾸미 삼겹살', '쭈꾸미 대하']",
 "['생연어 덮밥', '큐브스테이크', '간장 새우 덮밥', '숙주 삼겹 덮밥', '닭구이 덮밥', '돈까스 카레 덮밥', '양념장어구이', '연어구이덮밥']",
 "['삼겹살 (200g)', '생삼겹 (200g)', '우삼겹 (150g)', '오겹살 (200g)', '차돌박이 (150g)']",
 "['스지 아롱사태전골', '생연어 사시미', '근본 풀드포크', '들기름 명란파스타', '불 스지떡볶이', '감자 스카치에그', '토마토 홍합스튜', '통삼겹 김치찜', '닭목살 튀김', '오리냉채', '해물 두부짬뽕탕', '대게살 계란탕', '통삼겹 비빔면', '들기름 두부김치', '육개장라면', '명란 삼각김밥', '프렌치토스트', '치킨 프리카세', '고추장 찹스테이크', '근본 아이스크림']",
 "['구이삼겹(1인)', '매운구이삼겹(1인)', '간장구이삼겹(1인)', '김치구이삼겹(1인)']",

⸻

3. diner_open_time(영업시간) 데이터 정제

["['월~금 08:00 ~ 22:00', '토,일 10:00 ~ 22:00']",
 "['매일 15:00 ~ 23:00']",
 "['월~토 11:00 ~ 20:30', '월~토 라스트오더 ~ 20:00']",
 "['화~일 11:30 ~ 21:00', '화~일 휴게시간 15:00 ~ 17:00']",
 "['화~토 11:30 ~ 20:30', '일 11:30 ~ 15:30', '화~토 휴게시간 15:00 ~ 17:00']",
 "['월~금 08:00 ~ 22:00', '토,일 09:00 ~ 22:00']",
 "['화~일 10:30 ~ 19:30']",
 "['매일 11:00 ~ 01:00', '매일 라스트오더 ~ 24:00', '매일 휴게시간 15:00 ~ 17:00']",
 '[]',
 "['매일 11:00 ~ 21:00', '매일 휴게시간 14:00 ~ 15:00', '11:00 ~ 21:00', '휴게시간 14:00 ~ 15:00']",
 "['매일 11:00 ~ 20:50']",
 "['매일 11:30 ~ 21:30', '매일 휴게시간 15:30 ~ 17:00']",
 "['월~금 07:30 ~ 17:00']",
 "['월~금 09:20 ~ 22:00', '토,일 09:20 ~ 21:00']",
 "['매일 11:30 ~ 20:00', '10:30 ~ 21:00']",
 "['월~토 11:00 ~ 20:00', '월~토 휴게시간 14:30 ~ 17:00']",
 "['월~토 11:00 ~ 21:00', '월~토 휴게시간 16:00 ~ 17:00']",
 "['매일 10:00 ~ 02:00']",
 "['매일 11:30 ~ 21:00', '매일 휴게시간 15:00 ~ 17:00']",
 "['월,화,목,금 11:30 ~ 20:30', '토 12:00 ~ 20:30', '일 12:00 ~ 17:30', '월,화,목,금 휴게시간 15:00 ~ 17:00', '12:00 ~ 17:30']"]

1. 문제점

1.형식 불일치와 중복 기재

2.요일 범위 표현 불일치

3.누락값 혹은 부분 누락

4.여러 시간대 혼재

5.24시간 표기/심야 영업 표기 혼란

6.표준화된 시계열 데이터로 변환이 어려움

⸻

2. 해결 방향성

1.표준 스키마(형식) 정의 및 일관성 확보

2.라스트오더와 휴게시간 필드 분리

3.결측값(누락값) 보완

4.요일-시간대 충돌/중복 검사 로직 마련

5.실제 영업일/시간 확장 파싱

6.시간대별 운영 파트 분리

7.추천 알고리즘 활용 예시
⸻

4. diner_tag 데이터 정제 및 분석

["['디저트카페', '핸드드립', '카카오페이', '제로페이']",
 "['경기지역화폐', '혼밥']",
 "['돼지곰탕', '제로페이', '혼밥', '망원동맛집', '항정국밥', '망원밥집']",
 "['지미존스', '카카오페이', '샌드위치']",
 "['망원동베이커리', '디저트카페', '망원동빵집', '스콘', '망원동카페']",
 "['카카오페이']",
 "['제로페이', '찐만두', '냉면', '제육', '카카오페이', '불고기', '평양냉면']",
 "['카카오페이', '제로페이']",
 "['제로페이', '모임,회식', '카카오페이', '혼밥']",
 "['카카오페이', '제로페이', '혼밥']",
 "['국밥', '해장', '혼밥', '점심식사', '구시청해장', '돼지국밥']",
 "['혼밥']",
 "['제로페이']",
 "['수제음료', '카카오페이', '제로페이']",
 "['혼밥', '점심식사', '뷔페']",
 "['커피원두', '커피드립백', '로스팅전문', '제로페이', '스페셜티카페', '대학동카페', '대학동위스키']",
 "['아침식사', '점심식사', '베이커리카페']",
 "['모임,회식', '제로페이', '혼밥']",
 "['모임,회식', '면목역고기집', '면목동고기맛집', '면목역삼겹살맛집', '면목역맛집', '면목역돼지껍데기', '이동약자접근', '분위기좋은']",
 "['경양식요리']"]

문제 정의

• 사용자 입력 태그, 운영자가 수동으로 붙인 태그, AI/ML 모델이 생성한 태그 등 출처가 달라 태그 중복·유사 태그 난립
• “고기집”, “고깃집”, “돼지고기”, “소고기”, “소갈비”처럼 유사하거나 상위/하위 개념이 혼재되어 태그 의미 중복 발생
• 태그 간 관계를 파악하지 않으면 음식점 검색, 추천 알고리즘에서 혼선이 생기거나 부정확한 결과 도출

해결 방향성

• 태그 표준화(사전) 및 중복 정리: 유사어·동의어 묶음 정의, 대표 태그 선택
• 계층 구조(카테고리 트리) 또는 메타 태그 설계: 예) “한식 > 고기 > 돼지고기/소고기/양고기” 등
• 텍스트 마이닝 기법 적용: TF-IDF, Word2Vec 등으로 태그 유사도 분석 후 대표 태그로 통합
• 정제된 태그 기반 분석/모델링: 예) 인기 태그, 특정 태그를 가진 업장의 평점, 방문 빈도 등 정량적 분석

⸻

5. diner 지역 클러스터링(맛집 상권 분석)

문제 정의

• 사용자가 특정 거리(500m, 1km, 3km 등)를 설정했을 때, 해당 범위 내에서 갈 수 있는 음식점을 정확히 산출하기 어려움
• 좌표 정보의 부정확, 주소→좌표 변환 시 발생하는 오차 등으로 인해 실제 거리 계산이 왜곡될 수 있음
• 지역별 특성(업종 밀집도, 상권 규모 등)이 다른데, 단순 거리 계산만으로 맛집 집합을 추천하면 정확도가 떨어짐

해결 방향성

• 정확한 좌표 취합 및 검증(geocoding 정제): 대표 지도 API(카카오, 구글 등)와 비교·교차 검증
• 클러스터링 알고리즘 적용: DBSCAN, K-means 등으로 상권(비교적 가까운 음식점 집단) 자동 분석
• 거리 기반+교통 편의성 고려한 모델 구축: 실제 도보 시간, 대중교통 접근성 등을 반영해 ‘도달 가능 거리’ 모델링
• 이동 범위(500m, 1km, 3km 등)에 따른 음식점 분포 시각화: 사용자에게 지도로 직관적 정보 제공

⸻

6. reviewer 분석

문제 정의

• 리뷰어의 신뢰도(리뷰 빈도, 평점 편향 등)를 파악하지 않으면 리뷰 품질을 보장하기 어려움
• 리뷰어가 작성한 리뷰 데이터는 다수지만, 동일인인지(중복 계정), 의도적 조작 계정(어뷰징)인지 구분 곤란
• 리뷰어의 성향(선호 음식, 좋아하는 맛, 방문 지역 등)을 이해하지 못하면 개인화 추천에 한계

해결 방향성

• 리뷰어 프로필 및 활동 로그 분석: 리뷰 개수, 평점 분포, 지역/매장 편향, 방문 이력 추적
• 이상 리뷰어(어뷰징) 탐지: 시간 대비 지나치게 많은 리뷰, 특정 매장에만 치우친 고평점/저평점 여부 등 규칙 설정
• 리뷰어 클러스터링: 취향 그룹별로 묶어 공통된 성향, 선호도 파악 (ex: 양식 좋아하는 그룹, 이자카야 자주 찾는 그룹)
• 인증 시스템 연계: 실명 인증 또는 SNS 연동 등으로 중복 계정·어뷰징 계정 방지

⸻

7. reviewer_review 데이터 정제 및 분석

문제 정의

• 리뷰 텍스트의 오타, 반말, 이모티콘/특수문자 등 정형화되지 않은 표현이 많아 의미 파악이 어려움
• 별점과 리뷰 텍스트 간 불일치(별점은 높지만 내용은 부정적이거나 그 반대)가 존재
• 감정 분석, 토픽 분석 등에 활용하기 전, 리뷰 데이터를 정제하지 않으면 모델 성능 저하

해결 방향성

• 자연어처리(NLP) 전처리: 띄어쓰기, 맞춤법 교정, 불용어 제거, 형태소 분석 등을 통해 의미 분석에 적합한 형태로 변환
• 별점-리뷰 텍스트 상관관계 분석: 별점과 실제 텍스트의 긍정/부정 지표 일치도 측정, 이상치(불일치) 데이터 확인
• 감정 분석(Sentiment Analysis), 토픽 모델링 등 기법 적용: 고객이 주로 언급하는 키워드, 만족·불만 요소 식별
• 리뷰 신뢰도 가중치 부여: 작성자 이력(활동 이력, 인증 여부 등), 리뷰 길이, 조회수/도움수 등을 종합해 가중치 산정

⸻

[bohyunshin]

(cc. @ds-wook @mkk4726 @salmon131 @ranzzing )

[bohyunshin]

@LearningnRunning 님 상세하게 정리해주셔서 감사합니다!
말씀해주신 내용에 전적으로 동의합니다. middle 카테고리까지 사용하면 좋은데 지적해주신 문제점이 존재해서 이를 해결하고 활용해야할 것 같아요.
아래와 같이 시각화해서 정리해봤는데요.

우선 diner_category_large는 깔끔하게 정리가 된 모습입니다. 제 생각에는 이 정도면 당장 사용해도 될 것 같아요. 한식에 분포가 쏠려있는 것은 데이터 특성상 어쩔 수 없다고 생각해요.

나머지 large category별 middle category를 살펴봤는데요.

한식

양식

술집

간식

카페

일식

중식

기타

아시아음식

말씀해주신 것처럼 프랜차이즈명이 보이는 large category가 여전히 보입니다. 이에 대한 처리가 필요해 보여요.
프랜차이즈명을 모델로 처리하기는 넘 까다로우니 llm 프롬프트를 활용하는게 어떨까 싶네요.

[LearningnRunning]

@bohyunshin 정리해주셔서 감사해요 보현님, middle 단계까지 프랜차이즈 없도록 작업해서 올려둘게요 !

[bohyunshin]

@LearningnRunning 님 우선 와이프분이랑 즐거운 토요일 저녁 보내셔요 ㅎㅎㅎ
급한건 아니니까 천천히 작업해주셔도 되고 아니면 2기 분들께 데이터도 살펴보실 겸 assign 해드려도 될 것 같습니다 ㅎㅎ

[LearningnRunning]

@bohyunshin 감사합니다 보현님 ㅎㅎ

[bohyunshin]

middle category의 null 비율도 살펴봤는데요. 전체적으로 13%정도 null 값이 있네요.
이는 말씀해주신 것처럼 ml이나 llm, 규칙 기반 방법 등을 활용해서 채우면 좋을 것 같아요!

[ds-wook]

학습할때 프랜차이즈가 추천에 나오는것을 보고 어떻게 해야할지 고민하고 있었는데 두분이 미리 고민해주셔서 감사합니다.
일단 저는 개인적으로 데이터는 룰베이스로 한번 확인하고 일일이 까보는 작업이 필요하다고 생각합니다.
이 부분은 각자 파트 나눠서 까보는 것이 나을거 같습니다. 데이터는 왕도가 없다고 생각하거든요