Disable cudnn for batch norm是基于什么考虑

[janicevidal]

Disable cudnn for batch norm的操作，和默认的torch batchNorm、扩展的Synchronized batchNorm区别在哪？

[LiMeng95]

这个操作是在bn方法中禁用了cudnn。借鉴了和这个项目相同的操作。

我们在训练keypoint subnet的时候对bn层采用了train()模式（trainer.py#L173, trainer.py#L318），不禁用cudnn的话训练和测试过程会出现不收敛的情况。不过如果把L173和L318删掉，即在所有训练过程中bn层均为eval()模式，不禁用cudnn也可以，但精度可能稍低。

更多信息可以参照这两个issue: issue1, issue2

[lianuo]

他们说pytorch1.0已经解决了这个bughttps://github.com/Microsoft/human-pose-estimation.pytorch/issues/67

[LiMeng95]

@lianuo
多谢！