【Hackathon 4th No.24】为 Paddle 新增 paddle.sparse.is_nan 稀疏 API #415
Conversation
| ## 1、相关背景 | ||
|
|
||
| is_nan 是一个检查输入稀疏 Tensor 的每一个值是否为 +/-NaN 。目前在 PaddlePaddle 种，没有稀疏涨量的is_nan计算逻辑。 | ||
| 针对 Paddle 的两种稀疏 Tensor 格式 COO 与 CSR ，都需新增 reshape 的计算逻辑，一共需要新增 2个 kernel 的前向与反向。 |
|
|
||
| ## 1、相关背景 | ||
|
|
||
| is_nan 是一个检查输入稀疏 Tensor 的每一个值是否为 +/-NaN 。目前在 PaddlePaddle 种，没有稀疏涨量的is_nan计算逻辑。 |
|
|
||
| ## 1、相关背景 | ||
|
|
||
| is_nan 是一个检查输入稀疏 Tensor 的每一个值是否为 +/-NaN 。目前在 PaddlePaddle 种，没有稀疏涨量的is_nan计算逻辑。 |
|
|
||
| # 四、对比分析 | ||
|
|
||
| Pytorch, Tensorflow, Scipy虽然对于稠密张量支持is_nan操作，但都没有直接实现对稀疏张量的 is_nan 的一元操作。 |
|
|
||
| ## 命名与参数设计 | ||
|
|
||
| sparse is_nan 这个稀疏张量上的方法的命名和参数不需要额外设计，在 paddle/phi/api/yaml 下新增注册该算子的前向和反向。 |
| ## 命名与参数设计 | ||
|
|
||
| sparse is_nan 这个稀疏张量上的方法的命名和参数不需要额外设计，在 paddle/phi/api/yaml 下新增注册该算子的前向和反向。 | ||
|
|
There was a problem hiding this comment.
paddle/phi/api/yaml/sparse_ops.yaml中注册，需要描述一下yaml形式
|
|
||
| ## 底层OP设计 | ||
|
|
||
| 新增两个 Kernel： |
There was a problem hiding this comment.
kernel形式写IsnanCooKernel就可以，参数不对
| } | ||
| ``` | ||
|
|
||
| 在前向推理中，一元操作的实现较简单，取出 DenseTensor 类型的 non_zero_elements() 后，逐元素进行 is_nan 操作，并创建新的稀疏张量即可。 |
There was a problem hiding this comment.
这个API建议参考下unary_kernel.cc，看能否批量注册复用dense kernel
| 在 Paddle repo 的 python/paddle/sparse/unary.py 文件中新增api: | ||
|
|
||
| ```cpp | ||
| @dygraph_only |
There was a problem hiding this comment.
新增的sparse API需要同时实现动态图和静态图
|
|
||
| # 六、测试和验收的考量 | ||
|
|
||
| 测试考虑的case如下： |
| func : isnan_coo{sparse_coo -> sparse_coo}, | ||
| isnan_csr{sparse_csr -> sparse_csr} | ||
| layout : x | ||
| backward : null |
| @@ -0,0 +1,124 @@ | |||
| # paddle.sparse.is_nan 设计文档 | |||
There was a problem hiding this comment.
这个API的名字调整成 paddle.sparse.isnan 吧，和dense的风格对齐，后面涉及到名字的都需要改下
| args : (Tensor x) | ||
| output : Tensor(out) | ||
| infer_meta : | ||
| func : IsfiniteInferMeta |
There was a problem hiding this comment.
UnchangedInferMeta，后面直接复用sparse/unary.cc中的实现吧，参考relu的实现
There was a problem hiding this comment.
@zhouwei25 这个跟其他unary算子还不太一样，因为返回的是bool类型数据，是否UnchangedInferMeta就不太合适了，譬如这种错是不是是因为infer_meta造成的：
return _C_ops.sparse_to_dense(self)
ValueError: (InvalidArgument) The type of data we are trying to retrieve (float32) does not match the type of data (bool) currently contained in the container.
There was a problem hiding this comment.
@zhouwei25 这个跟其他unary算子还不太一样，因为返回的是bool类型数据，是否UnchangedInferMeta就不太合适了，譬如这种错是不是是因为infer_meta造成的： return _C_ops.sparse_to_dense(self) ValueError: (InvalidArgument) The type of data we are trying to retrieve (float32) does not match the type of data (bool) currently contained in the container.
嗯这个确实特殊些
为 Paddle 新增 paddle.sparse.is_nan 稀疏 API