Copyright © Microsoft Corporation. All rights reserved. 适用于License版权许可
-
如果使用浏览器在线观看的话，可以使用Chrome浏览器，加这个Math展示控件
-
也可以clone全部内容到本地，然后用VSCode浏览，但VSCode中需要安装能读取Markdown格式的扩展，比如Markdown Preview Enhanced.
总的说来，我们现在有了很多非常厉害的深度学习框架，比如Tensorflow，CNTK，PaddlePaddle，Caffe2等等。然而，我们用这些框架在搭建我们自己的深度学习模型的时候，到底做了一些什么样的操作呢？我们试图去阅读框架的源码来理解框架到底帮助我们做了些什么，但是……很难！很难！很难！因为深度学习是需要加速啦，分布式计算啦，框架做了很多很多的优化，也让像我们这样的小白难以理解这些框架的源码。
这取决于你是想真正地掌握“深度学习”的思想，还是只想成为一个调参师？在我们看来，如TensorFlow，CNTK这些伟大的深度学习工具，是为了解决实际的应用问题而生的，而不是用来学习“深度学习”知识和思想的。所以我们根据自己亲身经历的学习轨迹，归纳出了以下教程，可以帮助小白做到真正的从入门到精通。
通过以下循序渐进地学习与动手实践，一方面可以帮助读者深刻理解“深度学习”的基础知识，更好地理解并使用现有框架，另一方面可以助力读者快速学习最新出现的各种神经网络的扩展或者变型，跟上快速发展的AI浪潮。
对于这份教程的内容，如果没有额外的说明，我们通常使用如下表格的命名约定：
| 符号 | 含义 |
|---|---|
| X | 输入样本 |
| Y | 输入样本的标签 |
| Z | 线性运算的结果 |
| A | 激活函数/结果 |
| W | 权重矩阵 |
| B | 偏移矩阵 |
| J | 损失函数 |
| 大写字母 | 矩阵或矢量，如A,W,B |
| 小写字母 | 变量，标量，如a,w,b |
| 第1个样本的第2个特征值 | |
| 第L层第2个神经元对第L-1层第3个神经元的权重值 | |
| 矩阵的行 | 一批样本的某一个特征值的集合 |
| 矩阵的列 | 一批样本的某一个样本的所有特征值 |
没有各种基础想学习却无从下手哀声叹气的玩家，请按时跟踪最新博客，推导数学公式，跑通代码，并及时提出问题，以求最高疗效；
深度学习小白，有直观的人工智能的认识，强烈的学习欲望和需求，请在博客的基础上配合代码食用，效果更佳；
调参师，训练过模型，调过参数，想了解框架内各层运算过程，给玄学的调参之路添加一点心理保障；
超级高手，提出您宝贵的意见，给广大初学者指出一条明路！
环境：
- Windows 10 version 1809
- Visual Studio 2017 Community or above
- Python 3.6.6
- Jupyter Notebook (可选)
自己：
清醒的头脑（困了的同学请自觉泡茶），纸和笔（如果想跟着推公式的话），闹钟（防止久坐按时起来转转），厚厚的衣服（有暖气的同学请忽略）
| 网络结构名称 | 网络结构图 | 应用领域 |
|---|---|---|
| 单入 单出 一层 |
 |
一元线性回归/拟合 一般用于拟合直线，根据单输入值预测单输出值 |
| 多入 单出 一层 |
 |
多元线性回归 根据一组输入值预测单输出值 |
| 多入 多出 一层 |
 |
多元线性分类 |
| 单入 单出 两层 |
 |
一元非线性回归/拟合 可以拟合任意复杂函数 |
| 多入 多出 两层 |
 |
多元非线性分类 可以做任意复杂边界的分类 |
| 多入 多出 三层 |
 |
多元非线性多分类 |
“铁柱”是一名老师，在神经网络中穿梭多年，挂了满身的蜘蛛网。
“木头”是一名刚入门者，木头木脑的，有问题经常向铁柱请教。
其实木头就是笔者本人的笔名，铁柱是我请教过的多位老师的合集。