[Hackthon 4th No.7] add paddle.unflatten API #53055

Ainavo · 2023-04-18T16:17:33Z

PR types

New features

PR changes

APIs

Description

add api for unflatten

【Hackathon 4th No.7】为 Paddle 新增 Unflatten API community#460

中文文档链接：

【Hackathon 4th No.7】新增 unflatten doc docs#5861

修改后的 RFC 链接：

【Hackathon 4th No.7】修改 paddle.unflatten 的 RFC community#533

paddle-bot · 2023-04-18T16:17:39Z

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

Ainavo · 2023-04-18T16:32:27Z

你好 @zoooo0820，对于 RFC 中提到的 shape 参数为 Tensor 数据类型，torch 中是不支持 Tensor 数据类型的，如下图，所以 paddle 中对于 shape 参数，需要支持 Tensor 类型吗？

不过，相对于 torch.reshape 不支持参数 shape 为 Tensor 的类型，而 paddle.reshape 支持参数 shape 为 Tensor 的类型~

zoooo0820 · 2023-04-19T02:44:13Z

你好 @zoooo0820，对于 RFC 中提到的 shape 参数为 Tensor 数据类型，torch 中是不支持 Tensor 数据类型的，如下图，所以 paddle 中对于 shape 参数，需要支持 Tensor 类型吗？

不过，相对于 torch.reshape 不支持参数 shape 为 Tensor 的类型，而 paddle.reshape 支持参数 shape 为 Tensor 的类型~

@Ainavo 你好，
在Paddle的设计中，需要综合考虑相关竞品及Paddle本身的情况。在这个API的调研过程中，收集到了基础信息表示，即"pytorch的shape不支持Tensor，但是TF支持"。以及上面提到的，paddle.reshape支持shape为Tensor。
从这些信息来看，支持与否其实是不强制的，如果支持更多类型的输入，可提升API易用性，是锦上添花的工作。所以这里需要特别评估实现支持shape是Tensor类型在开发上的难度，如果难度不大，则最好支持，如果会额外带来很大的开发量，甚至发现框架本身从机制上不支持等问题，那么也可以指出来，放弃支持这个点。

Ainavo · 2023-04-19T02:54:54Z

你好@zoooo0820，paddle.reshape 在静态图模式下，类型检查不包括 unit8、complex64、comple128、bfloat16的类型检查如下图：

请问，这里可以直接添加 unit8、complex64、comple128、bfloat16 的类型支持吗？或者可以在 unflatten 单测中不对这些类型进行静态图模式下的测试？

Ainavo · 2023-04-19T02:56:06Z

你好 @zoooo0820，对于 RFC 中提到的 shape 参数为 Tensor 数据类型，torch 中是不支持 Tensor 数据类型的，如下图，所以 paddle 中对于 shape 参数，需要支持 Tensor 类型吗？
不过，相对于 torch.reshape 不支持参数 shape 为 Tensor 的类型，而 paddle.reshape 支持参数 shape 为 Tensor 的类型~

@Ainavo 你好，在Paddle的设计中，需要综合考虑相关竞品及Paddle本身的情况。在这个API的调研过程中，收集到了基础信息表示，即"pytorch的shape不支持Tensor，但是TF支持"。以及上面提到的，paddle.reshape支持shape为Tensor。从这些信息来看，支持与否其实是不强制的，如果支持更多类型的输入，可提升API易用性，是锦上添花的工作。所以这里需要特别评估实现支持shape是Tensor类型在开发上的难度，如果难度不大，则最好支持，如果会额外带来很大的开发量，甚至发现框架本身从机制上不支持等问题，那么也可以指出来，放弃支持这个点。

收到

zoooo0820 · 2023-04-19T03:09:02Z

这里可以先暂时不加，如果要加的话还涉及到补单测等工作，工作重心可能偏离。数据类型支持后续由对应专项工作去补充。目前可以测试已经支持的数据类型。

Ainavo · 2023-04-19T03:09:40Z

这里可以先暂时不加，如果要加的话还涉及到补单测等工作，工作重心可能偏离。数据类型支持后续由对应专项工作去补充。目前可以测试已经支持的数据类型

好的

Ainavo · 2023-04-21T01:42:26Z

args.Name	args.Type	is_support	Notes
`x` (Tensor)	`uint8`	✅	仅仅进行动态图下的测试，因为 `paddle.reshape` 静态图下不支持该类型。
	`int8`	✅	仅仅进行动态图下的测试，因为 `paddle.reshape` 静态图下不支持该类型。
	`int16`	✅
	`int32`	✅
	`int64`	✅
	`float16`	✅
	`float32`	✅
	`float64`	✅
	`bfloat16`	❌	Numpy 中不支持 `bfloat16` 数据类型，`paddle.to_tensor` 创建的 `bfloat16` 数据类型貌似有问题，跟 `torch` 端对不齐。
	`complex64`	✅	仅仅进行动态图下的测试，因为 `paddle.reshape` 静态图下不支持该类型。
	`complex128`	✅	仅仅进行动态图下的测试，因为 `paddle.reshape` 静态图下不支持该类型。
	`bool`	✅
`shape` (List or Tuple)	`int`	✅
`shape` (Tensor)	`uint8`	❌	`paddle.reshape` 不支持 `uint8` 的数据类型。
	`int8`	❌	`paddle.reshape` 不支持 `uint8` 的数据类型。
	`int16`	❌	`paddle.reshape` 不支持 `uint8` 的数据类型。
	`in32`	✅
	`in64`	✅	`paddle.shape` 不支持 `int64`，但是可以通过 `paddle.cast` 将 `int64` 输入的数据类型转换成 `int32`。
`axis`(int)	`int`	✅	test value : `-1, 0, 1`

Ainavo · 2023-04-21T11:16:35Z

另外一个 pr 先将 shape 输入为 paddle.Tensor 的数据类型使用 list 直接转换成列表，然后再进行后续处理：

[Test] add api for unflatten #53155

Ainavo · 2023-04-21T12:01:39Z

@zoooo0820 你好，ci 已过，有时间可以 review 一下吗？
因为 numpy 没有对应的 API 进行实现，因此在 test_unflatten.py 文件中大致实现了一个（基本上跟实现的 paddle.unflatten 逻辑相同），在本地跟 torch.unflatten 对单测中的一些例子进行了对齐，目前没发现问题，不知道这么做是否可行？对于某些不支持的数据类型也已在上表中提到，同时还有另一个 pr ，将输入的 shape 参数先转换成 list 再进行之后的处理，希望得到 review 的修改建议~

luotao1 · 2023-04-25T03:04:36Z

4、产生任务 leader：第一个通过设计文档评审的开发者将成为该任务的 leader，后续任务开发需按照设计文档进行；若其他开发者先于任务 leader 提交了作品，则他/她的作品需经过任务 leader 的确认（自@任务leader review 后，7个自然日内无回复默认通过），未按照设计文档开发的作品将不会进入评审阶段。

https://aistudio.baidu.com/aistudio/competition/detail/776/0/introduction

请 cos43 review 下这个PR，同时关注下上述规则（by 2023年4月25日）。

Ainavo · 2023-04-25T03:07:29Z

可以请 @cos43 review 一下吗~

python/paddle/fluid/tests/unittests/test_layers.py

python/paddle/nn/layer/common.py

python/paddle/tensor/manipulation.py

python/paddle/fluid/tests/unittests/test_unflatten.py

python/paddle/tensor/manipulation.py

zoooo0820 · 2023-04-25T03:34:11Z

python/paddle/tensor/manipulation.py

+    if axis < 0:
+        axis = axis + length
+    new_shape = (
+        tuple(x.shape[:axis]) + tuple(shape) + tuple(x.shape[axis + 1 :])


支持shape 为Tensor，本质上不是单纯为了增加一个支持的数据类型，而是Tensor是一个未知的数据（例如shape是需要由前面某个OP计算出来）。

在静态图下，在组网构图阶段，是不能利用Tensor内的实际数值的，所以对于静态图而言，new_shape这样先转tuple再组合起来的方案是不适用的。这个地方，尽量保证new_shape始终由tensor计算得到，并仍然作为一个tensor给到reshape

支持shape 为Tensor，本质上不是单纯为了增加一个支持的数据类型，而是Tensor是一个未知的数据（例如shape是需要由前面某个OP计算出来）。

在静态图下，在组网构图阶段，是不能利用Tensor内的实际数值的，所以对于静态图而言，new_shape这样先转tuple再组合起来的方案是不适用的。这个地方，尽量保证new_shape始终由tensor计算得到，并仍然作为一个tensor给到reshape

目前，先使用 paddle.shape 获取为 Tensor 数据的 shape，然后通过 paddle.concat 进行张量连接，由于 paddle.shape 返回的数据类型是 int32，因此在 shape 输入时，添加了 int32 的数据类型检查。同时 paddle.reshape 在文档中提到 shape 参数的类型为 int32 (不过 int64 也可以正常输入)。

python/paddle/tensor/manipulation.py

python/paddle/nn/layer/common.py

python/paddle/fluid/tests/unittests/test_unflatten.py

Ainavo · 2023-05-04T12:34:20Z

@zoooo0820 已按照建议进行修改，其中 paddle.shape 返回的数据类型指定为 int32，而 paddle.reshape 可以支持 int32 和 int64，因此当 int64 的数据类型输入时，使用 paddle.cast 强制转换成 int32，不知道这样做是否合适？

zoooo0820

LGTM

paddle-ci-bot · 2023-05-07T03:21:28Z

Sorry to inform you that 7494a65's CIs have passed for more than 7 days. To prevent PR conflicts, you need to re-run all CIs manually.

sunzhongkai588

unflatten也同步进行修改

sunzhongkai588 · 2023-05-08T08:40:41Z

python/paddle/nn/layer/common.py

+    Parameters:
+        shape (list|tuple|Tensor): Unflatten :attr:`shape` on the specified :attr:`axis`. At most one dimension of the target :attr:`shape` can be -1.
+            If the input :attr:`shape` does not contain -1 , the product should be equal to ``x.shape[axis]`` size.
+            The data type is `int` . If :attr:`shape` is a list or tuple, the elements of it should be integers or Tensors with shape [].


@zoooo0820 麻烦判断下Tensors with shape []描述是否准确？感觉形状为[]的tensor 很难界定

@zoooo0820 麻烦判断下Tensors with shape []描述是否准确？感觉形状为[]的tensor 很难界定

补充：这里是参考了 paddle.reshape 的文档

Paddle/python/paddle/tensor/manipulation.py

Line 3526 in b6c0407

The data type is ``int32`` . If ``shape`` is a list or tuple, the elements of it should be integers or Tensors with shape [].

感觉这里想表达的意思是元素为 Tensor 的 list 或 tuple

@zoooo0820 麻烦判断下Tensors with shape []描述是否准确？感觉形状为[]的tensor 很难界定

补充：这里是参考了 paddle.reshape 的文档

Paddle/python/paddle/tensor/manipulation.py

Line 3526 in b6c0407

The data type is ``int32`` . If ``shape`` is a list or tuple, the elements of it should be integers or Tensors with shape [].

感觉这里想表达的意思是元素为 Tensor 的 list 或 tuple

和内部研发同学问了下，形状为[]的tensor为意思是 0维tensor，应该符合描述

@zoooo0820 麻烦判断下Tensors with shape []描述是否准确？感觉形状为[]的tensor 很难界定

补充：这里是参考了 paddle.reshape 的文档

Paddle/python/paddle/tensor/manipulation.py

Line 3526 in b6c0407

The data type is ``int32`` . If ``shape`` is a list or tuple, the elements of it should be integers or Tensors with shape [].

感觉这里想表达的意思是元素为 Tensor 的 list 或 tuple

和内部研发同学问了下，形状为[]的tensor为意思是 0维tensor，应该符合描述

好的，学到了~

python/paddle/nn/layer/common.py

zoooo0820 · 2023-05-08T08:54:32Z

python/paddle/tensor/manipulation.py

@@ -4787,6 +4787,75 @@ def index_add_(x, index, axis, value, name=None):
    return _C_ops.index_add_(x, index, value, axis)


+def unflatten(x, shape, axis, name=None):


对应竞品的API，从复现模型的易用角度出发，这里以及Unflatten类中的shape, axis的前后顺序可调整下，对应RFC也辛苦修改一下呢

对应竞品的API，从复现模型的易用角度出发，这里以及Unflatten类中的shape, axis的前后顺序可调整下，对应RFC也辛苦修改一下呢

好的

对应竞品的API，从复现模型的易用角度出发，这里以及Unflatten类中的shape, axis的前后顺序可调整下，对应RFC也辛苦修改一下呢

修改后的 RFC 链接：

【Hackathon 4th No.7】修改 paddle.unflatten 的 RFC community#533

主要修改参数顺序及参数说明，另外删除一些单测中的错误检测

sunzhongkai588

LGTM

zoooo0820

LGTM

jeff41404

LGTM

Ainavo added 2 commits April 18, 2023 16:09

first without ctest

9843545

add test_unflatten

664e5c6

Ainavo added 3 commits April 19, 2023 00:43

fix shape and output

904ab14

fix list -->tuple

ddee80c

uint16 -->uint8

f7e4806

paddle-bot bot added the contributor External developers label Apr 18, 2023

屏蔽单测中静态图下不支持complex64、unit8类型测试

a910023

Ainavo added 3 commits April 19, 2023 16:30

add TestError and some special cases

ada9f50

add string test

450284c

add nn.Unflatten test

8ab81fe

Ainavo mentioned this pull request Apr 20, 2023

【PaddlePaddle Hackathon 第四期】任务总览 #51281

Closed

luotao1 assigned luotao1, zoooo0820 and Ligoml Apr 20, 2023

luotao1 added the API label Apr 20, 2023

add nn.unflatten without 'return out'

7053d7e

luotao1 mentioned this pull request Apr 25, 2023

【Hackathon 4th No.7】为 Paddle 新增 Unflatten API PaddlePaddle/community#460

Merged

zoooo0820 reviewed Apr 25, 2023

View reviewed changes

Ainavo added 5 commits April 28, 2023 00:08

Merge branch 'develop' into api_for_unflatten

b9a5678

Merge branch 'develop' into api_for_unflatten

fed61f7

去掉多余检查

e58d10a

动态图下适配输入强制转换int32

182f1d7

修改 shape 为 paddle.int64 的类型报错的单测

f4e7784

Ainavo requested a review from zoooo0820 April 28, 2023 06:56

zoooo0820 reviewed Apr 28, 2023

View reviewed changes

Ainavo added 2 commits April 28, 2023 21:45

del check for x and shape；del test；add doc；

ca469f4

del 'unflatten' and fix :attr: x -->input x

7494a65

Ainavo requested a review from zoooo0820 May 5, 2023 03:19

zoooo0820 previously approved these changes May 5, 2023

View reviewed changes

Ainavo mentioned this pull request May 6, 2023

【Hackathon 4th No.7】新增 unflatten doc PaddlePaddle/docs#5861

Merged

test=docs_preview

665d43d

Ainavo dismissed zoooo0820’s stale review via 665d43d May 7, 2023 03:03

去掉文档中数据类型的引号；test=docs_preview

acf2d6d

luotao1 assigned sunzhongkai588 May 8, 2023

sunzhongkai588 reviewed May 8, 2023

View reviewed changes

zoooo0820 reviewed May 8, 2023

View reviewed changes

调整参数 axis 和 shape 的顺序

6b1a739

Ainavo mentioned this pull request May 8, 2023

【Hackathon 4th No.7】修改 paddle.unflatten 的 RFC PaddlePaddle/community#533

Merged

Ainavo requested a review from zoooo0820 May 9, 2023 01:14

sunzhongkai588 approved these changes May 9, 2023

View reviewed changes

zoooo0820 approved these changes May 9, 2023

View reviewed changes

jeff41404 approved these changes May 9, 2023

View reviewed changes

luotao1 merged commit 9cd0a5b into PaddlePaddle:develop May 9, 2023
23 of 24 checks passed

Ainavo deleted the api_for_unflatten branch May 9, 2023 10:51

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[Hackthon 4th No.7] add paddle.unflatten API #53055

[Hackthon 4th No.7] add paddle.unflatten API #53055

Ainavo commented Apr 18, 2023 •

edited

paddle-bot bot commented Apr 18, 2023

Ainavo commented Apr 18, 2023 •

edited

zoooo0820 commented Apr 19, 2023

Ainavo commented Apr 19, 2023 •

edited

Ainavo commented Apr 19, 2023

zoooo0820 commented Apr 19, 2023

Ainavo commented Apr 19, 2023 •

edited

Ainavo commented Apr 21, 2023 •

edited

Ainavo commented Apr 21, 2023 •

edited

Ainavo commented Apr 21, 2023

luotao1 commented Apr 25, 2023

Ainavo commented Apr 25, 2023

zoooo0820 Apr 25, 2023

Ainavo Apr 28, 2023

Ainavo commented May 4, 2023

zoooo0820 left a comment

paddle-ci-bot bot commented May 7, 2023

sunzhongkai588 left a comment

sunzhongkai588 May 8, 2023

Ainavo May 8, 2023

sunzhongkai588 May 9, 2023

Ainavo May 9, 2023

zoooo0820 May 8, 2023

Ainavo May 8, 2023

Ainavo May 8, 2023 •

edited

sunzhongkai588 left a comment

zoooo0820 left a comment

jeff41404 left a comment

		@@ -4787,6 +4787,75 @@ def index_add_(x, index, axis, value, name=None):
		return _C_ops.index_add_(x, index, value, axis)


		def unflatten(x, shape, axis, name=None):

[Hackthon 4th No.7] add paddle.unflatten API #53055

[Hackthon 4th No.7] add paddle.unflatten API #53055

Conversation

Ainavo commented Apr 18, 2023 • edited

PR types

PR changes

Description

paddle-bot bot commented Apr 18, 2023

Ainavo commented Apr 18, 2023 • edited

zoooo0820 commented Apr 19, 2023

Ainavo commented Apr 19, 2023 • edited

Ainavo commented Apr 19, 2023

zoooo0820 commented Apr 19, 2023

Ainavo commented Apr 19, 2023 • edited

Ainavo commented Apr 21, 2023 • edited

Ainavo commented Apr 21, 2023 • edited

Ainavo commented Apr 21, 2023

luotao1 commented Apr 25, 2023

Ainavo commented Apr 25, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Ainavo commented May 4, 2023

zoooo0820 left a comment

Choose a reason for hiding this comment

paddle-ci-bot bot commented May 7, 2023

sunzhongkai588 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Ainavo May 8, 2023 • edited

Choose a reason for hiding this comment

sunzhongkai588 left a comment

Choose a reason for hiding this comment

zoooo0820 left a comment

Choose a reason for hiding this comment

jeff41404 left a comment

Choose a reason for hiding this comment

Ainavo commented Apr 18, 2023 •

edited

Ainavo commented Apr 18, 2023 •

edited

Ainavo commented Apr 19, 2023 •

edited

Ainavo commented Apr 19, 2023 •

edited

Ainavo commented Apr 21, 2023 •

edited

Ainavo commented Apr 21, 2023 •

edited

Ainavo May 8, 2023 •

edited