Skip to content

Latest commit

 

History

History
40 lines (27 loc) · 3.04 KB

FAQ.md

File metadata and controls

40 lines (27 loc) · 3.04 KB

FAQ(常见问题)

Q: 为什么我使用单GPU训练loss会出NaN?
A: 默认学习率是适配多GPU训练(8x GPU),若使用单GPU训练,须对应调整学习率(例如,除以8)。 计算规则表如下所示,它们是等价的,表中变化节点即为piecewise decay里的boundaries:

GPU数 学习率 最大轮数 变化节点
2 0.0025 720000 [480000, 640000]
4 0.005 360000 [240000, 320000]
8 0.01 180000 [120000, 160000]

Q: 如何减少GPU显存使用率?
A: 可通过设置环境变量FLAGS_conv_workspace_size_limit为较小的值来减少显存消耗,并且不 会影响训练速度。以Mask-RCNN(R50)为例,设置export FLAGS_conv_workspace_size_limit = 512, batch size可以达到每GPU 4 (Tesla V100 16GB)。

Q: 哪些参数会影响内存使用量?
A: 会影响内存使用量的参数有:是否使用多进程use_process、 batch_size、reader中的bufsize、数据预处理中的RandomExpand ratio参数、以及图像本身大小等。

Q: 如何修改数据预处理?
A: 可在配置文件中设置 sample_transform。注意需要在配置文件中加入完整预处理 例如RCNN模型中DecodeImage, NormalizeImage and Permute

Q: affine_channel和batch norm是什么关系?
A: 在RCNN系列模型加载预训练模型初始化,有时候会固定住batch norm的参数, 使用预训练模型中的全局均值和方式,并且batch norm的scale和bias参数不更新,已发布的大多ResNet系列的RCNN模型采用这种方式。这种情况下可以在config中设置norm_type为bn或affine_channel, freeze_norm为true (默认为true),两种方式等价。affne_channel的计算方式为scale * x + bias。只不过设置affine_channel时,内部对batch norm的参数自动做了融合。如果训练使用的affine_channel,用保存的模型做初始化,训练其他任务时,既可使用affine_channel, 也可使用batch norm, 参数均可正确加载。

Q: 某些配置项会在多个模块中用到(如 num_classes),如何避免在配置文件中多次重复设置?
A: 框架提供了 __shared__ 标记来实现配置的共享,用户可以标记参数,如 __shared__ = ['num_classes'] ,配置数值作用规则如下:

  1. 如果模块配置中提供了 num_classes ,会优先使用其数值。
  2. 如果模块配置中未提供 num_classes ,但配置文件中存在全局键值,那么会使用全局键值。
  3. 两者均为配置的情况下,将使用默认值(81)。

Q: 在配置文件中设置use_process=True,并且运行报错:not enough space for reason[failed to malloc 601 pages...
A: 当前Reader的共享存储队列空间不足,请增大配置文件xxx.yml中的memsize,如memsize: 3G->memsize: 6G。或者配置文件中设置use_process=False