add flow.randn

[VertexC]

[hjchen2]

其实这些检查都是不必要的，functional接口在类型不匹配时会直接报错

[VertexC]

这种检查报错可能对用户更加友好一点？

[VertexC]

这个op是有状态的，还是要包装成module来持有状态

random op因为有generator是有状态的 但是会有下面这种创建一个Randn module，再从这个module创建tensor的需求吗

m = flow.Randn(...)
tensor_1 = m()
tensor_2 = m()

如果没有的话，只暴露一个flow.randn的接口，应该不需要module吧。

[hjchen2]

这个op是有状态的，还是要包装成module来持有状态

random op因为有generator是有状态的 但是会有下面这种创建一个Randn module，再从这个module创建tensor的需求吗

m = flow.Randn(...)
tensor_1 = m()
tensor_2 = m()

如果没有的话，只暴露一个flow.randn的接口，应该不需要module吧。

这里如果完全对齐pytorch是不需要module的，调用这个接口，如果没有提供generator，有两种处理方式：1、用全局的generator就好了，但这样的话sbp肯定就不能支持B了；2、直接创建一个新的generator，新的generator的seed每次会不会变化，如果不变，那每次随机出来都是同样的值，如果seed会变化，那怎么保证sbp为B的情况下，multi-client间的seed相同？

你上面说的Randn module多次执行的问题，这个天然就存在这种需求的。比如说我用Randn module搭建了一个网络，然后迭代多次，是不是就会多次执行这个module呢。

[github-actions]

Speed stats:

GPU Name: GeForce GTX 1080 

PyTorch resnet50 time: 136.9ms (= 6845.3ms / 50, input_shape=[16, 3, 224, 224], backward is enabled)
OneFlow resnet50 time: 125.8ms (= 6288.5ms / 50, input_shape=[16, 3, 224, 224], backward is enabled)
Relative speed: 1.09 (= 136.9ms / 125.8ms)

PyTorch resnet50 time: 81.1ms (= 4055.2ms / 50, input_shape=[8, 3, 224, 224], backward is enabled)
OneFlow resnet50 time: 73.0ms (= 3649.4ms / 50, input_shape=[8, 3, 224, 224], backward is enabled)
Relative speed: 1.11 (= 81.1ms / 73.0ms)

PyTorch resnet50 time: 58.7ms (= 2935.1ms / 50, input_shape=[4, 3, 224, 224], backward is enabled)
OneFlow resnet50 time: 50.7ms (= 2534.9ms / 50, input_shape=[4, 3, 224, 224], backward is enabled)
Relative speed: 1.16 (= 58.7ms / 50.7ms)

PyTorch resnet50 time: 49.7ms (= 2484.8ms / 50, input_shape=[2, 3, 224, 224], backward is enabled)
OneFlow resnet50 time: 40.5ms (= 2027.0ms / 50, input_shape=[2, 3, 224, 224], backward is enabled)
Relative speed: 1.23 (= 49.7ms / 40.5ms)

PyTorch resnet50 time: 43.8ms (= 2187.8ms / 50, input_shape=[1, 3, 224, 224], backward is enabled)
OneFlow resnet50 time: 41.6ms (= 2078.2ms / 50, input_shape=[1, 3, 224, 224], backward is enabled)
Relative speed: 1.05 (= 43.8ms / 41.6ms)