Dev norm op

[puchapu]

背景

开发 nn.tripletmarginloss 过程中涉及求范数操作，之前实现方式直接在 loss 中实现部分范数计算。

新增 Norm 算子，与 pytorch 中 torch.linalg.norm 以及 numpy.linalg.norm 对齐。

Pytorch：https://pytorch.org/docs/stable/linalg.html#torch.linalg.norm
Numpy：https://numpy.org/doc/stable/reference/generated/numpy.linalg.norm.html

之前也有一个类似未合并的 PR #4108

所需算子

• flow.pow
• flow.sqrt
• flow.sum
• flow.abs
• flow.square
• flow.max
• flow.min
• 缺少部分线性代数算子

存在疑问

1. 纯 python 拼的算子能否满足性能上的要求（存在一些如奇异值分解的线性代数运算）
2. pytorch 中有一些 norm 并不严格符合数学上对范数的描述，是否需要与 numpy 中对齐
3. 输出维度上，在 dim = None 情况下，pytorch 输出为一个 shape 为 0 的 tensor(xxx)，而 oneflow 默认的输出是一个 shape 为 1 的 tensor([xxx])。这个设置也会影响到 keepdim = True 是的输出判定情况（已在微信群和 @Flowingsun007 沟通记录过此问题）。

进度

• 除需奇异值分解的范数均已对齐
• 1D 和 2D 前后向对齐（见测试脚本）
• keepdim 属性未完全对齐（现支持 dim 输入为 int 时的情况）
• 高维矩阵（ND，N >= 3）的情况支持 “fro” norm
• tensor.norm 与 linalg.norm 调用方式对齐
• docstring
  
  
• doctest
  
• test results
  
• tensor_test result
  

[MARD1NO]

#4108 之前写过一点norm的分析（PR还没合并），可以参考下

[Ldpe2G]

这段代码你有测试过吗

[puchapu]

嗯嗯，测过的。PR 一开始有结果的截图

[Ldpe2G]

单测里面没测到 tensor.linglg.norm