Add an example with GAN and MINIST #5426
Conversation
Liyulingyue
commented
Nov 18, 2022
Liyulingyue
commented
- 选题来自 [Call for Contribution] Tutorials for PaddlePaddle ——— issue 链接 Paddle#47064 31号选题
- AiStudio项目链接 https://aistudio.baidu.com/aistudio/projectdetail/5058187
|
感谢你贡献飞桨文档，文档预览构建中，Docs-New 跑完后即可预览，预览链接：http://preview-pr-5426.paddle-docs-preview.paddlepaddle.org.cn/documentation/docs/zh/api/index_cn.html |
Liyulingyue
changed the title
| "cell_type": "markdown", | ||
| "metadata": {}, | ||
| "source": [ | ||
| "## 5. 模型训练" |
|
@Liyulingyue hi～ 需要回复一下RD们的审核意见～ 并回复h |
文件已更新~请查阅 |
| "\n", | ||
| "作者信息：[Liyulingyue](https://github.com/Liyulingyue)\n", | ||
| "\n", | ||
| "更新日期：2022 年 11 月 18 日\n", |
| "更新日期：2022 年 11 月 18 日\n", | ||
| "\n", | ||
| "## 1. 简要介绍\n", | ||
| "### 关于GAN\n", |
There was a problem hiding this comment.
GAN全称为Generative Adversary Network,**
| "- 目前Paddle的梯度反馈是自动累加模式，所以可以多个batch，或者多个模块的loss单独进行backword\n", | ||
| "- 通过[Tensor].detach()的方式可以截断梯度传播\n", | ||
| "\n", | ||
| "### 致谢\n", |
| "- [一文搞懂生成对抗网络之经典GAN（动态图、VisualDL2.0）](https://aistudio.baidu.com/aistudio/projectdetail/551962)\n", | ||
| "- [生成对抗网络七日打卡营](https://aistudio.baidu.com/aistudio/course/introduce/16651)\n", | ||
| "\n", | ||
| "**什么？上面没看懂？不重要！往下看就行了！锐利的loss！锐利的更新！永远的两步走！**\n", |
There was a problem hiding this comment.
删除这个“什么？上面没看懂？不重要！往下看就行了！锐利的loss！锐利的更新！永远的两步走！\n"”。暂时不需要太活泼的语言。
| "import numpy as np\n", | ||
| "import matplotlib.pyplot as plt\n", | ||
| "import matplotlib.animation as animation\n", | ||
| "import cv2" |
There was a problem hiding this comment.
请展示paddle的版本。print(paddle.version)
| "一个手写数字数据集，Paddle已经集成了这个数据集。\n", | ||
| "\n", | ||
| "### 关于Paddle的梯度反馈\n", | ||
| "- 目前Paddle的梯度反馈是自动累加模式，所以可以多个batch，或者多个模块的loss单独进行backword\n", |
| "**什么？上面没看懂？不重要！往下看就行了！锐利的loss！锐利的更新！永远的两步走！**\n", | ||
| "\n", | ||
| "## 2. 环境设置\n", | ||
| "导入包，主要包括paddle和一些画图辅助，如plt\n", |
| "\n", | ||
| "如果想要换成其他数据集，可以自行参考如何使用`paddle.io.Dataset`和`paddle.io.DataLoader`，封装后即可轻松复用本项目代码进行训练。\n", | ||
| "\n", | ||
| "首先，加载数据集。" |
| "cell_type": "markdown", | ||
| "metadata": {}, | ||
| "source": [ | ||
| "查看数据的形状，可以看到从dataloader返回的数据格式中，每张图大小为32*32，每张图片带有一个标签。" |
| "cell_type": "markdown", | ||
| "metadata": {}, | ||
| "source": [ | ||
| "通过下述代码可以快捷查看十张图片。" |
|
@wangna11BD wangna11BD 请RD在确认一下代码质量。 |
|
LGTM |
|
2.环境设置，补充paddle的版本， print(paddle.version) 5.模型训练： |
|
| "### 关于MINIST\n", | ||
| "[MINIST](http://yann.lecun.com/exdb/mnist/)是一个手写数字数据集，Paddle已经集成了这个数据集，可以通过封装好的API直接获取这个数据集中的内容。\n", | ||
| "\n", | ||
| "### 关于Paddle的梯度反馈\n", |
There was a problem hiding this comment.
"梯度反馈"，这个词听起来有些怪。
是不是直接用梯度计算就好了。
There was a problem hiding this comment.
"梯度反馈"，这个词听起来有些怪。 是不是直接用梯度计算就好了。
solved
| "关于梯度累加和梯度截断的介绍如下：\n", | ||
| "\n", | ||
| "1. 梯度累加：梯度累加是指在模型训练过程中，训练一个 batch 的数据得到梯度后，不立即用该梯度更新模型参数，而是继续下一个 batch 数据的训练，得到梯度后继续循环，多次循环后梯度不断累加，直至达到一定次数后，用累加的梯度更新参数，这样可以起到变相扩大 batch_size 的作用。受限于显存大小，可能无法开到更大的 batch_size，使用梯度累加可以实现增大 batch_size 的作用。动态图模式天然支持梯度累加，即只要不调用梯度清零 clear_grad 方法，动态图的梯度会一直累积。\n", | ||
| "2. 梯度截断：在一些任务中，只希望拿到正向预测的值，但是不希望更新参数，或者在反向的时候剪枝，减少计算量，阻断反向的传播，即可使用`paddle.Tensor.detach()`产生一个新的、和当前计算图分离的，但是拥有当前变量内容的临时变量。\n", |
There was a problem hiding this comment.
"梯度截断" ，这个说法，一般指把计算出来的梯度的值限制在某个范围内。
这里用，阻断反向传播，更恰当。
There was a problem hiding this comment.
"梯度截断" ，这个说法，一般指把计算出来的梯度的值限制在某个范围内。 这里用，阻断反向传播，更恰当。
solved
