Skip to content

Data Explanation

Kim Ki Bum edited this page Apr 1, 2021 · 1 revision

Yelp dataset

주의사항

  • 설명에 앞서 HGNR에서는 Round 13의 dataset을 이용하지만 이는 이용하지 못함.
  • 다른 Round의 데이터 셋을 제공
  • 즉, Yelp data를 가지고 완벽하게 논문에서 나온 hit, NDCG를 도출하지 못함

간략한 설명

Yelp는 User가 장소를 방문했을 때, 그 장소에 대해 평점과 Review를 남긴다. 다른 User들은 이 Review를 참고하여 그 장소를 갈 수도, 안 갈 수도 있다. 이 Site에서 Review가 마음에 든 사람과 또는 친구들을 팔로우 할 수 있다.

Yelp 홈페이지 구성

Review 남기는 방식

참고 - Round 13은 아직 없음

Dataset 구성

Business.json(item) - 118.62MB


  • business_id : 장소만의 Id

  • name : 장소 이름

  • address : 주소

  • city : 장소가 위치해 있는 도시

  • state : 나라의 코드 e.x)한국 - KR

  • postal code : 장소의 우편번호

  • latitude : 위도

  • longitude : 경도

  • starts : 그 장소의 평균 평점(0.5로 끊어짐)

  • reivew_counts : 장소에 대해 Review 개수

  • is_open : 현재 그 가게 또는 장소가 열려 있나

  • attributes : 그 장소의 특징들

  • Attribute가 각각 장소마다 다름

    • 예시-
    • 다른 장소의 Attribute

    • 추가 Idea : Attribute를 기준으로 Item link를 하려고 했지만 Attribute의 column의 variance가 너무 큼. 어떤 것은 3개 밖에 없지만, 또 다른 것은 20개 넘게 존재

  • categories : 장소의 category로 어떤 범주에 속하는지의 정보

    • Unique Category의 수 : 2487
    • 예시 ) Airport Lounges, Auto Glass Services, Team Building Activities
  • hours : 그 장소가 여는 시간

    • 예시 ) "Monday": "10:00-21:00",

장소의 수 : 138,876

review.json(interaction) - 6.46GB


user가 business에 대해 review한 정보

  • review_id : 각 review를 구별하는 id
  • user_id : review를 남긴 유저
  • business_id : 장소 id
  • stars : 남긴 평점(rating)
  • date : review를 남긴 시점
    • 형식 : "2016-03-09"
  • text : 남긴 Review
  • useful : 다른 user가 review가 유용하다고 vote한 수
  • funny : 다른 user가 review가 웃기다고 vote한 수
  • cool : 다른 user가 review보고 cool하다고 vote한 수

review의 수 : 8,635,403

user.json(user) - 3.43GB


  • user_id : 각 user를 구분하는 id

  • name : user의 이름(first name)

  • review_count : user가 review 남긴 총 수

  • yelping_since : user가 가입한 날짜

    • 형식 : YYYY-MM-DD
  • friends : 유저와 친구인지 - Undirected 개념이라고 생각

    • 형식 : array로 user_id가 담겨 있음
    • Undirected
  • userful : 다른 유저가 이 유저가 맘에 들거나 유용하다고 생각하여 vote한 수

  • funny : 다른 유저가 이 유저가 웃기다고 생각하여 vote한 수

  • fans : 다른 User의 해당 유저를 Follow한 수

    • Directed의 개념
  • elite : user가 어느 연도에 elite였는지

    • elite의 개념 : passionate한 user는 그 년도에 elite라는 칭호를 받음
  • average_stars : user가 남긴 review 평점의 평균

user의 수 : 2,189,457

checkin.json


business(장소)를 checkin한 날짜를 모아둔 것인데 정확하게 무엇인지 파악 불가

  • business_id : checkin한 business id
  • data : checkin한 날짜

tips.json - 219.64MB


review보다 짧은 글이지만 장소에 대해 남긴 글

  • text : 장소에 남긴 글
  • date : 언제 tip의 글을 남겼는지
  • compliment_count : 다른 유저가 이 tip을 칭찬한 개수
  • business_id : 어느 장소에 tip을 남겼는지
  • user_id : tip을 남긴 유저의 id

tip의 수 : 1,162,119

데이터 여는 방법


## business 정보
data = []
with open('.\\데이터\\Yelp\\item.json', 'r', encoding='UTF-8') as f:
    for line in f:
        data.append(json.loads(line))
item = pd.DataFrame(data)

## user 정보  
data = []
with open('.\\데이터\\Yelp\\user.json', 'r', encoding='UTF-8') as f:
    for line in f:
        data.append(json.loads(line))
user = pd.DataFrame(data)

Epinion Dataset

Epinion은 e-commerce로 온라인 시장에서 User가 상품을 구매하고, 평점과 리뷰를 남긴다.

epinion.json - 150MB


Json 데이터를 불러오는데 price 부분에서 쌍따옴표와 작은 따옴표의 문제가 생겨 price부분은 삭제하고 불러왔다. 일반적인 방법으로 불러오지 않아 다른 방법으로 불러왔다.

  • users : User를 구분한 Id
    • Unique user의 수 : 116260
  • stars : 구매한 item의 평점
  • time : Review를 남긴 시간
  • item : 구매한 Item의 Id
    • Unique item의 수 : 41269
  • review : 구매한 item에 대한 review
  • 총 observation
    188478

network_trust.txt - 16.5MB


network_trustedby.txt와는 방향만 다른 것으로 하나의 데이터만 이용해도 된다. 즉, 한 사람이 다른 user를 follow를 했을 때, trust가 된다. 이는 directed를 의미한다.

  • 데이터 형태

데이터셋 여는 방법


data = []
## epinion_2는 price column을 지운 데이터 
with open('.\\데이터\\Epinion\\epinions_2.json', 'r', encoding='UTF-8') as f:
    for line in f:
        line = json.dumps(line)
        data.append(json.loads(line))
item = pd.DataFrame(data)  

temp = []
for index,value in item.iterrows():
    temp.append(json.loads(value[0].replace("'","\"")))
df = pd.DataFrame(temp)  
## edges.txt 열기  
trust = pd.read_table('.\\데이터\\Epinion\\network_trust.txt', sep = '\t', header=None,names=['믿는 자', 'trust', '믿음을 당하는자'])  

## pickle로 열 경우 
import pickle
with open('.\\데이터\\Epinion\\epinions_2.pickle', 'wb') as f:
    pickle.dump(df, f)

Libraraything dataset

review.json - 1.5GB


User가 책을 보고 평점과 Review를 남긴다.

  • work : 어떤 책을 평가했는지(book id)
  • stars : 책 보고 rating
  • time : 책 review를 남긴 시점
  • comment : 책에 대한 Review
  • user : 어떤 user가 평가를 했는지
    • 문제 : comment는 있지만 user id가 없는 경우가 존재(91개) - 이런 데이터 셋은 제외시킴

총 observation 수 : 1706979

edges.txt - 4.6MB


  • Undirected로 서로 친구를 의미함

총 edge 수 : 219790

데이터셋 열기


전처리한 Librarything 데이터 - pickle 형태로 저장

  • Library에서 json여는 문제 발생
    json의 형태인 경우 {}안에 작은 따옴표(')가 아니라 큰 따옴표(")로 string을 처리해야되는데 review.json은 작은 따옴표로 되어있는 문제
    모든 string에서 replace를 통해 작은 따옴표를 큰 따옴표로 바꾸면 comment key의 value에 해당하는 부분의 작은 따옴표도 같이 큰 따옴표로 바뀌는 문제
    e.x) 'comment': "he's angry" => "comment": "he"s angry"(X)
## review.json 열기  
data = []
with open('.\\데이터\\Library\\reviews.json', 'r', encoding='UTF-8') as f:
   for line in f:
        line = json.dumps(line)
        data.append(json.loads(line))  
item = pd.DataFrame(data)

temp = []
exception = []
for index,value in item.iterrows():
    first = value[0].find("'comment'")
    second = value[0].find("'user'")
    content = value[0][first+12:second-3].replace("\"","'")
    content = content.replace("\\",'')
    review = "\""+content+"\""
    change = value[0].replace("'","\"")
    word = change[:first+11]+review+change[second-2:]
    try:
        temp.append(json.loads(word))
    except:
        exception.append([index, word])
dataframe = pd.DataFrame(temp)