[Model] 구현된 모델 실행하는 방법

[bohyunshin]

이 discussion에서는 레포에 구현된 모델을 실행하는 방법을 기록합니다. 현위치는 레포의 최상단 (root)에 있다고 가정합니다.

$ pwd
/Users/personal/yamyam-lab

embedding 모델 실행하기

사용되는 파라미터는 이 코드에 정의되어 있습니다.

Name	Description	Default	Belongs to
model	model name (nodevec or metapath2vec or graphsage)	required	common
batch_size	size of one batch	128	common
device	device type (cpu or cuda)	cpu	common
lr	learning rate	1e-2	common
epochs	number of training epoch	10	common
test_ratio	test data ratio	0.3	common
embedding_dim	dimension of embedding to train	128	common
walks_per_node	number of sequences for each node	10	common
num_negative_samples	number of negative sample	1	common
weighted_edge	whether using weighted edge or not	False	common
use_metadata	whether using metadata or not	False	common
test	whether test mode or not	False	common
save_candidate	whether saving candidates or not	False	common
reusable_token_path	path for reusable token path	None	common
walk_length	length of one sequence	20	node2vec, graphsage
p	BFS parameter	1	node2vec
q	DFS parameter	1	node2vec
category_column_for_meta	category column name for node meta	diner_category_large	metapath2vec
meta_path	meta path defined by user	None	metapath2vec
num_sage_layers	number of linear layers	2	graphsage
aggregator_funcs	number of aggergator functions (mean or max)	2	graphsage
num_neighbor_samples	number of neighborhood samples	3	graphsage

임베딩 기반 모델은 현재 node2vec, metapath2vec, graphsage이 구현되어 있습니다. 두 모델은 src/train_embedding.py에서 main 함수를 실행함으로써 학습할 수 있습니다. 각 모델이 사용하는 파라미터는 위 표의 Belongs to 칼럼에서 확인하실 수 있습니다. 대부분의 파라미터를 공유하고 모델별로 특수하게 사용하는 파라미터는 구분해뒀습니다.

모델별로 변화할 수 있는 파라미터는 argparse로, 비교적 고정되어 사용될 것 같은 파라미터는 config/embedding에 yaml 파일로 관리하고 있어요.

Path	Description
config/embedding/node2vec.yaml	node2vec config file
config/embedding/metapath2vec.yaml	metapath2vec config file
config/embedding/graphsage.yaml	graphsage config file

전처리, 피쳐엔지니어링, 저장할 파일 이름 등 값이 잘 변하지 않은 파라미터를 모아뒀습니다. 파일 보시면 이해가 빠르실 거에요~

공통 주의 사항

• 로컬에서 빠르게 한번 돌려보고 싶은 경우에는 --test 파라미터를 넣는 것을 추천드립니다.
  • 이 파라미터가 활성화되면 전체 데이터 중에 일부를 샘플링하여 파이프라인을 진행합니다. (코드)
  • metric 결과가 아닌, 빠르게 파이프라인의 작동 여부를 확인하기 위해서 --test 파라미터를 추가했으니 참고 부탁드려요.
• 임베딩 모델을 실행하면 result/{test}/{model}/{dt} 디렉토리에 결과가 저장됩니다.
  • --test 값이 true라면 result/test/{model}/{dt} 디렉토리에, false라면 result/untest/{model}/{dt} 디렉토리에 결과가 저장됩니다.
  • dt는 실험을 진행할 당시의 datetime 입니다. 실험을 많이 진행하게될 것 같아서 versioning을 datetime으로 하면 좋다고 생각했어요.
• 각 임베딩 모델에서 batch_size는 하나의 배치에 들어가는 노드의 수인데 실제로는 이것보다 더 많은 수의 노드가 하나의 batch gradient descent에서 사용됩니다.
  • 따라서 batch_size을 너무 많이 늘리면 하나의 batch에서 처리해야하는 노드가 매우 많아질 수 있습니다.
  • 특히 graphsage는 num_neighbor_samples 파라미터까지 고려해야하기 때문에 관련된 파라미터를 작게 설정할 필요가 있을 것 같습니다.
  • 하나의 batch에서 모델별 pos / neg samples의 수는 다음과 같습니다.
    • node2vec
      • positive sample: batch_size x walks_per_node x batch_size x walk_length개
      • negative sample: batch_size x walks_per_node x batch_size x num_negative_samples개
    • metapath2vec
      • positive sample: batch_size x walks_per_node x batch_size x metapath의 길이개
      • negative sample: batch_size x walks_per_node x batch_size x num_negative_samples개
    • graphsage
      • positive sample: batch_size x walks_per_node x batch_size x walk_length x num_neighbor_samples개
      • negative sample: batch_size x walks_per_node x batch_size x num_negative_samples x num_neighbor_samples개

파이프라인을 돌리면 output으로 얻게 되는 결과물

• command.txt: 파이프라인을 실행하기 위해 터미널에서 입력한 명령어입니다. 로깅을 통해서 기록하긴 하는데, 실행한 command 자체를 보는게 개인적으로 더 편리해서 따로 저장합니다.
• data_object.pkl: 전처리 이후에 얻게되는 데이터를 모아둔 dict 입니다. 이 파일은 candidate generation에서 사용됩니다.
• log.log: logger을 통해서 기록한 로그입니다.
• metric.pkl: 학습 당시의 epoch 별 metric을 기록한 dict 입니다.
• map.png: 학습 당시의 epoch 별 map plot 입니다.
• ndcg.png: 학습 당시의 epoch 별 ndcg plot 입니다.
• recall.png: 학습 당시의 epoch 별 recall plot 입니다.
• tr_loss.png: 학습 당시의 epoch 별 training loss plot 입니다.
• training_loss.pkl: 학습 당시의 epoch 별 training loss을 기록한 list 입니다.
• weight.pt: 학습을 완료한 이후의 pytorch weight 입니다.

node2vec 실행하기

node2vec 예시 실행 command는 다음과 같습니다.

$ poetry run python3 src/yamyam_lab/train.py \
  --model node2vec \
  --device cpu \
  --batch_size 128 \
  --embedding_dim 32 \
  --epochs 30 \
  --walk_length 6 \
  --walks_per_node 20 \
  --p 1 \
  --q 1 \
  --num_negative_samples 10 \
  --weighted_edge \
  --test

참고하면 좋을 몇가지 팁이에요.

• p가 q보다 크면 bfs스러운 sequence가 만들어지며 노드와 인접한 이웃 노드들이 sequence에 나올 가능성이 커집니다.
• q가 p보다 크면 dfs스러운 sequence가 만들어지며 hop이 큰 노드들이 sequence에 나올 가능성이 커집니다.
• walk_length을 너무 크게 설정하면, popularity 기반 추천과 동일해집니다. 깊은 노드를 탐색할수록 결국 리뷰가 많은 노드로 귀결됨을 실험적으로 확인했습니다.
• weighted_edge 파라미터가 on 된다면, 좀 더 많은 정보를 활용해서 결과가 좋아질줄 알았는데 꼭 그런것은 아니었습니다. 물론 정성평가나 다른 metric을 보면 다를수도 있을 것 같습니다.

metapath2vec 실행하기

metapath2vec 예시 실행 command는 다음과 같습니다.

$ poetry run python3 src/yamyam_lab/train.py \
  --model metapath2vec \
  --device cpu \
  --batch_size 128 \
  --embedding_dim 32 \
  --epochs 5 \
  --walks_per_node 10 \
  --use_metadata \
  --category_column_for_meta diner_category_large \
  --meta_path "user,diner,user,diner,user,diner;user,diner,category,diner,user" \
  --num_negative_samples 6 \
  --weighted_edge \
  --test

참고하면 좋을 몇가지 팁이에요.

• 현재 metapath2vec에서 메타를 생성할 때는 category_column_for_meta 칼럼과 h3_index을 결합하여 메타를 생성합니다.
  • 이는 식당 임베딩을 생성할 때, 인근 h3 cell에 속하면서 이 식당과 동일한 카테고리를 가지는 다른 식당을 유사하게 묶고자 하는 목적에서 의도했습니다.
  • category_column_for_meta가 diner_category_large일 때, 또는 diner_category_middle일 때, 그래프 의미가 살짝 다르게 정의될 것 같아요. diner_category_middle이 가장 적절하지 않을까 싶습니다.
• meta_path는 사용자가 직접 정의한 path이고 이 path에 따라서 sequence가 생성됩니다.
  • user,diner,user,diner,user,diner로 정의한 path는 유저와 동일한 식당을 방문한 다른 유저의 방문 식당을 유저의 취향에 반영하겠다는 의도입니다.
  • user,diner,category,diner,user로 정의한 path는 유저가 방문한 식당의 카테고리를 가지는 인근 다른 식당을 유저의 취향에 반영하겠다는 의도입니다.
  • 유저, 식당 임베딩을 이렇게 학습하겠다! 라는 생각을 가지고 meta_path을 정의하고 훈련 이후에 viz을 통해서 확인하면 될 것 같습니다.

grpahsage 학습하기

graphsage 예시 실행 command는 다음과 같습니다.

$ poetry run python3 src/yamyam_lab/train.py \
  --model graphsage \
  --device cpu \
  --batch_size 128 \
  --embedding_dim 32 \
  --epochs 5 \
  --walks_per_node 3 \
  --num_negative_samples 4 \
  --walk_length 4 \
  --weighted_edge \
  --num_sage_layers 2 \
  --aggregator_funcs mean mean \
  --num_neighbor_samples 3 \
  --test

참고하면 좋을 몇가지 팁이에요.

• graphsage는 이웃을 샘플링하는 단계도 있기 때문에 walks_per_node, walk_length, num_negavie_samples을 node2vec에서 하던 것과 비슷하게 설정하면 훈련하는데 매우 오래 걸릴 수 있습니다. 위의 공통 주의 사항을 참고해주세요.
• 현재 aggregator functions은 mean, max만 구현되어 있는데 논문에서는 lstm, pooling의 함수가 더 좋다고 나옵니다. 추가 구현할 예정이긴한데 원하시면 자유롭게 구현해주시면 좋을 것 같습니다 ㅎㅎ

svd_bias 실행하기

bias을 포함한 singular value decomposition은 netflix에서 주최한 대회(paper)에서 사용된 매우 유명한 알고리즘 입니다. baseline으로 많이 사용되는 것으로 알고 있습니다. 유저 $u$가 아이템 $i$에 준 평점이 $r_{ui}$으로 주어질 때, $\hat{r}_{ui}$을 아래와 같이 정의합니다.

$\hat{r}_{ui} = \mu + b_u + b_i + p_u^T q_i$

$p_u, q_i$는 m차원의 벡터를, $b_u, b_i$는 각 유저의 특성을 보정할 수 있는 scalar로 정의됩니다. loss function은 아래와 같습니다.

$L = \sum_{u,i} (r_{ui} - \hat{r}_{ui}) + \lambda ( ||p_u||^2 + ||q_i||^2 + b_u^2 + b_i^2 )$

svd_bias 모델을 학습하기 위해서 아래의 명령어를 실행해주세요.

$ poetry run python3 src/yamyam_lab/train.py \
  --model svd_bias \
  --epochs 30 \
  --test

[ds-wook]

Rank 모델 실행 방법

1. config 폴더에 들어간다.
2. models 폴더에 원하는 모델에 들어가 파라미터를 자유자재로 바꿔본다.
   params에 있는 parameter는 도큐먼트를 참고한다.

name: lightgbm

model_path: res/models/
results: lgb_ranker

params:
  objective: lambdarank
  boosting_type: gbdt
  metric: map
  ndcg_at:
    - 10
    - 15
    - 20
  bagging_freq: 5
  bagging_fraction: 0.8
  feature_fraction: 0.8
  learning_rate: 0.05
  max_depth: -1
  num_leaves: 16
  verbose: -1
  n_jobs: -1

early_stopping_rounds: 100
num_boost_round: 10000
verbose_eval: 100
seed: 42

4. 스크립트를 실행한다

$ python src/train_ranker.py models=lightgbm \
    models.results=본인이 만들고 싶은 파일명

[ds-wook]

@bohyunshin 님 boosting 모델의 학습된 모델값이 저장됩니다. txt파일로도 볼수 있습니다.

[LearningnRunning]

@bohyunshin @ds-wook 두 분 넘 멋져요 ㅎㅎ 감사합니다 다들 이걸보고 잘 실행해보셨겠죠??

[ds-wook]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 안하셨으면 내일 알려드리죠ㅎㅎ

[ds-wook]

근데 확실히 컴퓨팅 파워 이슈가 있을거 같아요

[bohyunshin]

ㅋㅋㅋㅋㅋㅋ 잘 실행하셨겠죠... 너무잘하셔서 질문이 없는거라 믿습니다 ㅋㅋㅋ