本篇文章是针对学习《深度学习入门》(由日本学者斋藤康毅所著陆羽杰所译)中关于神经网络的学习一章来总结归纳一些收获。 本书提出神经网络的学习分四步:1.mini-batch 2.计算梯度 3.更新参数 4.重复前面步骤
所谓“从数据中学习”是指 可以由数据#自动决定权重#。当解决较为简单的问题，使用简单的神经网络时，网络里的权重可以人为的手动设置，去提取输入信息中特定的特征。但是在实际的神经网络中，参数往往是成千上万，甚至可能上亿的权重，这个时候人为手动设置是不可能完成的任务。因此，当可以由数据去学习得到网络的权重，是一件计算机智能的事。本篇文章通过实现手写数字识别的实际项目来分析神经网络的学习。 有效的利用数据有两种方案：1.先从图像中提取特征量，再用机器学习技术学习这些特征量的模式。 第一步：从图像中提取特征量的方法是人为的设置图像特征提取的滤波器，常用的滤波器有:SIFT,SURF和HOG等，使用这些滤波器将图像数据转换为向量，最后对转换后的向量使用机器学习中的SVM,KNN等分类器进行学习。这个方案的缺点是就是特征提取的滤波器需要人为手动设计，针对不同的问题就要设置不同的滤波器。2.神经网络(深度学习)的方法就是完全有数据去训练权重，找出相应的特征，做出判断。在书上的P83页的图4-2有一个更加简洁直观地比较了两种方案的区别。神经网络的优点是对所有的问题都可以用同样的流程来解决。
是用来学习神经网络的一个经典的项目。手写数字识别的#标准库#是MINIST手写数字数据集。