请问词表怎么使用呢？

[braveryCHR]

作者你好，我之前finetune过bert，但是我拿到您的xlnet后，发现其词表和bert的形式（txt格式）不一样，我想知道该如何使用这个预训练模型呢，有相关的库吗，例如pytorch_pretrained_bert这个库（我用pytorch）？

[ymcui]

需要搭配sentencepiece工具使用，参考 https://github.com/ymcui/Chinese-PreTrained-XLNet#生成词表

[NealRichardRui]

作者你好，我之前finetune过bert，但是我拿到您的xlnet后，发现其词表和bert的形式（txt格式）不一样，我想知道该如何使用这个预训练模型呢，有相关的库吗，例如pytorch_pretrained_bert这个库（我用pytorch）？

安装pytorch_transformers

from pytorch_transformers import XLNetTokenizer
tokenizer = XLNetTokenizer.from_pretrained('你下载的预训练文件夹')

[braveryCHR]

作者你好，我之前finetune过bert，但是我拿到您的xlnet后，发现其词表和bert的形式（txt格式）不一样，我想知道该如何使用这个预训练模型呢，有相关的库吗，例如pytorch_pretrained_bert这个库（我用pytorch）？

安装pytorch_transformers

from pytorch_transformers import XLNetTokenizer
tokenizer = XLNetTokenizer.from_pretrained('你下载的预训练文件夹')

太谢谢啦~感谢