models的PaddleNLP的bert，自有数据训练，生成训练数据。字典不匹配？？

[waywaywayw]

https://github.com/PaddlePaddle/models/tree/release/1.8/PaddleNLP/pretrain_language_models/BERT
数据预处理部分

id化的例子 第一个token的id是1？你们用的是啥字典啊。
bert-base 的字典，cls是102，sep是103才对吧

或者你们能不能放出对应的create_train_data.py的代码，这也不麻烦吧

[waywaywayw]

有人来回答一下吗？确定不了字典，预训练也就无从谈起了

[songzy12]

我刚才研究了一下，这里是一些结果：

1. demo 使用的字典是 data/demo_config/vocab.txt [1].
2. 具体到截图中的示例，其 id 化前的明文可以在 data/demo_wiki_tokens.txt [2] 中找到：
   龙 江 ic （ 平 假 名 ： ） 是 位 于 长 野 县 饭 田 市 的 三 远 南 信 自 动 车 道 之 交 流 道 。 现 时 还 未 启 用 。
3. 通过解压缩 id 化后的文件 data/train/demo_wiki_train.gz [3] 并查看其内容我们可以发现：
   id 化后每一句的都是以1开头，以2结尾。原因应该和 tokenization 的具体实现有关。

至于所要求的 create_train_data.py, 应该就是 train.py [4] 和 tokenization.py [5].

[1]
https://github.com/PaddlePaddle/models/blob/release/1.8/PaddleNLP/pretrain_language_models/BERT/data/demo_config/vocab.txt
[2] https://github.com/PaddlePaddle/models/blob/release/1.8/PaddleNLP/pretrain_language_models/BERT/data/demo_wiki_tokens.txt
[3] https://github.com/PaddlePaddle/models/blob/release/1.8/PaddleNLP/pretrain_language_models/BERT/data/train/demo_wiki_train.gz
[4] https://github.com/PaddlePaddle/models/blob/release/1.8/PaddleNLP/pretrain_language_models/BERT/train.py
[5] https://github.com/PaddlePaddle/models/blob/release/1.8/PaddleNLP/pretrain_language_models/BERT/tokenization.py

[ZeyuChen]

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/language_model/bert