关于在您的模型上继续预训练

[zhezhaoa]

您好打扰您了
我用您的roberta模型进行微调效果很好
但是我用您的模型进行预训练，一上来的mlm准确率是0。我也用完形填空试了一下，确实模型不能进行准确的预测。所以我猜测您的预训练模型的最上层（单词预测）是不是有一些问题，期待您的回复～

[ruleGreen]

辛苦问下具体预训练方法，我用自己的数据预训练，但是获取不到相关的records，搞不懂为啥create_pretrain_data.py里面有这个split(',')

[BruceLoveDecimal]

辛苦问下具体预训练方法，我用自己的数据预训练，但是获取不到相关的records，搞不懂为啥create_pretrain_data.py里面有这个split(',')

请问最后解决了wrote 0 instances这个问题了嘛