Skip to content

BM-K/Vocab

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 

Repository files navigation

Vocab

python makeVocab.py
테스트 문장:   [CLS] 나는 >><< 워드피스 토크나이저를 써요. 성능이 좋은지 테스트 해보려 합니다. [SEP]
문장 인코딩:  [2, 163, 1010, 1, 1, 1, 1, 651, 1036, 2984, 845, 1045, 1066, 959, 1073, 974, 2736, 9, 517, 1202, 959, 5287, 1004, 841, 4161, 906, 1276, 1038, 2076, 9, 3]
문장 디코딩:  [CLS] 나는 [UNK] [UNK] [UNK] [UNK] 워드피스 토크나이저를 써요. 성능이 좋은지 테스트 해보려 합니다. [SEP]

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages