【预训练】体验优化计划

[ZHUI]

此issue记录一些目前反馈的，预训练使用中存在的一些问题。并进一步展开优化：

反馈问题汇总

• 横向对比HF的预训练体验，同步更新文档。 [PRETRAIN] Change some hyper parameters of ernie-1.0 #1344
• DataCollatorForLanguageModeling 动态masking。 [功能需求]DataCollatorForLanguageModeling（动态masking） #1340
• 训练平台详细说明。 ernie-1.0 sh run_static.sh报错 #1358
• ernie-1.0 分布式训练策略，文档增强。ernie-1.0 分布式训练策略、fleet相关问题求助。 #1261
• 优化动静态图参数转化。
• 集成效果评估代码。

优化计划

功能补全

• [Pre-Training] 新增参数权重，静态图->动态图转换脚本，支持PaddleNLP大多数模型。 [ERNIE] Pretrain: Add converter from static to dygraph. #1478
• [ERNIE] 新增预训练权重评估脚本： [PRETRAIN] Add evaluation scripts for ernie pre-trained weights #1498

文档优化

• [ERNIE] 新增ERNIE-1.0在CLUECorpus2020 small数据集教程： [Pre-Training] Add tutorial for clue small 14g dataset #1555

[github-actions]

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。

[github-actions]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天，即将关闭。