Support Poolformer

[thinksoso]

Support Poolformer

• build poolformer model
• convert pretrained weight
• inference test on imagenet and update model_zoo
• update docs
• update changelog
• pytorch speed comparison oneflow版本过慢，待解决

[Ldpe2G]

还有一点以后加模型的时候，都要添加和torch的速度对比数据，作为todo的一项，列在pr里面

[rentainhe]

还有一点以后加模型的时候，都要添加和torch的速度对比数据，作为todo的一项，列在pr里面

是不是有脚本可以直接跑个测速

[Ldpe2G]

还有一点以后加模型的时候，都要添加和torch的速度对比数据，作为todo的一项，列在pr里面

是不是有脚本可以直接跑个测速

https://github.com/Oneflow-Inc/vision/blob/main/ci/check/run_speed_test.sh
是的，在这里照着加就行了，需要稍微学习一下怎么测

[rentainhe]

还有一点以后加模型的时候，都要添加和torch的速度对比数据，作为todo的一项，列在pr里面

是不是有脚本可以直接跑个测速

https://github.com/Oneflow-Inc/vision/blob/main/ci/check/run_speed_test.sh 是的，在这里照着加就行了，需要稍微学习一下怎么测

好的👌

[Ldpe2G]

还有一点以后加模型的时候，都要添加和torch的速度对比数据，作为todo的一项，列在pr里面

是不是有脚本可以直接跑个测速

https://github.com/Oneflow-Inc/vision/blob/main/ci/check/run_speed_test.sh 是的，在这里照着加就行了，需要稍微学习一下怎么测

好的👌

我简单写个文档吧

[kaijieshi7]

代码小问题很多。需要严谨的对待发现的小问题。

[thinksoso]

代码小问题很多。需要严谨的对待发现的小问题。

是的，复制的地方比较多，在merge之前认真过一遍，多谢指正~

[kaijieshi7]

这个源码有个地方有问题，暂时别合并

[rentainhe]

这个源码有个地方有问题，暂时别合并

我们去检查一下poolformer的源码吧

[kaijieshi7]

这个源码有个地方有问题，暂时别合并

是我搞错了，不是很致命的问题。

[rentainhe]

记得README里也要修改一下~

[thinksoso]

Groupnorm是速度瓶颈

在测速时，发现与pytorch相比速度过慢

绕过Groupnorm之后，速度提升几十倍，可以证明是groupnorm的问题

[BBuf]

需要做得精细一点，即使Group Norm被绕过但还是慢了一点，可以profile看看具体哪里慢了，可以和白夏颖交流。

[BBuf]

需要做得精细一点，即使Group Norm被绕过但还是慢了一点，可以profile看看具体哪里慢了，可以和白夏颖交流。

意思就是你不用关心GN，在OneFlow和PyTorch都不用GN的情况下寻找一下为什么OneFlow还是慢一点，参考：https://github.com/Oneflow-Inc/OneTeam/issues/1020

[rentainhe]

@kaijieshi7 @Ldpe2G 各位再Review一下这个代码，然后没什么的话我们就先合并进去，速度问题再单独开一个Issue去跟踪，这样不会影响模型库的搭建速度

[rentainhe]

这个PR merge一下main之后可以合并了~