[AMP] fix static promote #53439
[AMP] fix static promote #53439
Conversation
|
你的PR提交成功，感谢你对开源项目的贡献! |
|
❌ The PR is not created using PR's template. You can refer to this Demo. |
…addle#53358)" This reverts commit 1bd468e.
…addlePaddle#53358)"" This reverts commit 31b9309.
…ePaddle#53225)"" This reverts commit 3da2fab.
| @@ -196,8 +225,6 @@ def _update_list(self): | |||
| elif op_name in self.gray_list: | |||
| self.gray_list.remove(op_name) | |||
| self.white_list.add(op_name) | |||
| if op_name in _extra_unsupported_list: | |||
| self.unsupported_list.remove(op_name) | |||
There was a problem hiding this comment.
该文件235行，实际上不需要把自定义黑名单中的算子放入不支持列表中，因为已经加入了黑名单中
但是由于python/paddle/distributed/passes/auto_parallel_fp16.py 实现中用了AutoMixedPrecisionLists，但是其中部分流程的处理未考虑黑名单算子，因此如果235行删除，会导致相关单测失败。目前尚不清楚直接修改auto_parallel_fp16.py的实现有多大影响，因此暂时未删除。
| # from black_list and unsupport_list. | ||
| if op in ['lookup_table', 'lookup_table_v2']: | ||
| continue | ||
| if _need_keep_fp32(op, amp_lists.unsupported_list, use_fp16_guard): |
There was a problem hiding this comment.
为了解决transformer模型中出现的报错问题，同时为了动静态图在模型参数类型转换时行为统一：黑名单中的算子依然会保持fp16权重，仅不支持fp16的算子或者不在use_fp16_guard下的算子需要保持fp32权重。
|
PR最好merge下develop |
PR types
Bug fixesPR changes
OthersDescription
fix static promote将因性能有问题而放入unsupprot_list中的算子放入黑名单中，以保证在O2模式下，只有3种场景权重会保持fp32：
一些模型中可能存在某些算子权重被后续在白名单中的算子使用，权重的名字同时在keep_fp32_var_names和to_fp16_var_names中，可能会导致权重var.dtype和存储的数据的dtype不同。解决方案：如果var在keep_fp32_var_names中，那么将从to_fp16_var_names移除
该场景在transformer模型中存在，修复以下报错问题
