這是根據 Yelp 資料集中的 Review 內的內容所作的 word2vec ~
資料集內容可以參考Yelp Dataset,有針對 Dataset 的內容說明
這裡所使用的是其中一個 review.json 內 text 欄位的內容來作 word2vec
主要分成以下幾個部分:
第一個部分 : 清理文字內容,可以參考 yelp_review_preprocess.py (不使用stopword,因此將該段註解掉)
第二個部分 : 建立 word2vec 模型,為了方便執行,因此分成兩個
* CBOW(Continuous bag of words) : yelp_review_w2v_cbow.py
* Skip-Gram : yelp_review_w2v_skgram.py
第三個部分 : 進行檢視訓練後的結果,可以參考 yelp_review.ipynb
-
CBOW(Continuous bag of words) : yelp_cbow
-
Skip-Gram : yelp_skipgram
清理資料時有使用 stop words 後所建立的模型,
-
CBOW(Continuous bag of words) : yelp_cbow_stopwords
-
Skip-Gram : yelp_skipgram_stopwords
- Yelp Dataset
- https://www.kaggle.com/vksbhandary/exploring-yelp-reviews-dataset
- https://towardsdatascience.com/nlp-for-beginners-cleaning-preprocessing-text-data-ae8e306bef0f
- https://www.kaggle.com/liananapalkova/simply-about-word2vec/notebook
- https://www.kaggle.com/itratrahman/nlp-tutorial-using-python