tensorflow版本与pytorch版本相差多大呢？

[luhua-rain]

你好！
非常感谢开源模型！
但在线下我自己测试的时候，发现pytorch的效果要比tensorflow的小很多。请问：你们有测试过pytorch版本的效果吗？或者是我自己的代码有问题？

[ymcui]

我没有测过PyTorch版本，仅使用了Huggingface最新版的转换脚本。
效果以TF版本为准，你可以自行将TF权重转换为PT版本，确保转换无误。

[FrankWork]

@basketballandlearn 请问你测试的差距有多大？

[lsq357]

@basketballandlearn 请问这个问题解决了吗？

1. 我用keras-xlnet(https://github.com/CyberZHG/keras-xlnet) 跑数据集LCQMC，一直收敛不了。。
2. 我用keras-xlnet跑实体识别，我自己训练的xlnet-base，只比bert-base差几个千分点而已，但是用这个，差了几个百分点（8个到9个）

[brightmart]

@basketballandlearn @FrankWork 你们后来有什么测试、发现或解决方法了吗？
LCQMC是中文的。尝试着训练了一个XLNet_Large中文版，超大数据量，训练完了（累计见了1亿元个训练数据），结果在LCQMC验证集的准确率比其他模型差了近10个点。

Best result | eval_accuracy 0.802749693394 | eval_loss 0.492308169603 | global_step 1000 | loss 0.481289118528

你们有尝试过在其他任务上的效果吗？

[luhua-rain]

其他任务都效果都比bert要好几个点，我试过许多任务，没有低过bert的