Permalink
Switch branches/tags
Nothing to show
Find file Copy path
Fetching contributors…
Cannot retrieve contributors at this time
123 lines (93 sloc) 6.33 KB
layout comments categories
post
true
Tensorflow
  • content {:toc}

Tensorflow教程-1-MNIST

MNIST数据描述

MNIST数据是一个非常经典的机器学习的数据集,它是一个图片数据集,每张有一个手写的阿拉伯数字从0到9,该数据集地址为MNIST, 在Python当中,我们可以使用代码来导入数据,代码如下: {% highlight python %} from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) {% endhighlight %}

MNIST数据有三个部分,训练数据(55000条 mnist.train), 测试数据(10000条 mnist.test)以及验证数据(5000条 mnist.validation),这个样的数量分割其实是非常重要的。在做模型训练和测试的时候,一般会将数据按照一定的比例(比如8-2法则)分割。 MNIST的每张图片有28×28个像素,相对真实的图片数据这个已经很简化了,看图片示例: 1

mnist.train.images 类型为tensor数据维度为[55000,28*28]; mnist.train.labels的维度为[55000,10],这里的10意思:假如这个数字代表9,则为[0,0,0,0,0,0,0,0,0,1]

Softmax回归

如果不了解softmax,可以先回顾一下sigmoid,sigmoid用在分类结果只有2个的情况下,softmax用在分类结果有很多种的情况下,详细参见softmax,下图给出了整个神经网络的结构: 2

其中W代表权重,b代表bias,softmax对计算出来的结果再进行一次处理,将其映射到0到9不同的标签上面去

3

计算公式为: \(y=softmax(Wx+b)\)

代码实现

{% highlight python %} from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf import argparse import sys

FLAGS = None

def main(_): mnist = input_data.read_data_sets(FLAGS.data_dir,one_hot=True)

x = tf.placeholder(tf.float32,[None, 784])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
y = tf.matmul(x,W) + b #matmul means matrix multiplication

#defince the loss and optimizer
y_ = tf.placeholder(tf.float32,[None,10])

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y,y_))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)#o.5  is learning rate

sess = tf.InteractiveSession()

#train
tf.global_variables_initializer().run()

for _ in range(1000): # we will run the train step 1000 times
    batch_xs, batch_ys = mnist.train.next_batch(100) # batch size, for each iteration, we only use 100 points of the dataset
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})


#test
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

if name == 'main': parser = argparse.ArgumentParser() parser.add_argument('--data_dir', type=str, default='dataset', help="Directory for storing data") FLAGS, unparsed = parser.parse_known_args() tf.app.run(main = main, argv=[sys.argv[0]] + unparsed)

{% endhighlight %}    

下面,我们对上面代码中存在疑问的地方进行解释

* placeholder

这个我们可以理解为占位符,后面的feed_dict中我们要给他具体的值,否则会报错,例如上面代码中我们有x和\(y\_\)两个placeholder,因此,需要在feed_dict中给出他们的具体值

  • matmul    

这个代表矩阵相乘,因为tensorflow需要适应GPU的运算,所以我们不能再使用python的Numpy的适合CPU的运算方法,所以tensorflow定义了一套自己的运算

  • Learning rate

代码中的0.5, learning rate就是梯度下降算法中的,每一步向下走的距离,可以参考梯度下降算法

  • batch size

代码中的100, batch size是stochastic gradient descent-随机梯度下降算法中特有的,传统的梯度下降一次需要训练非常多的数据,所以运算复杂度非常高,因此我们在训练的时候每次都只是取其中的一部分来进行训练,batch size就是取出来的数据量的大小。想想我们总共只有55000条数据,但是我们循环了1000次,每次100条,总共有100000条数据了,所以其中肯定是有重复的训练的数据。

  • InteractiveSession

tensorflow是基于c++的后台的,而每次运算的时候需要连接后台,而连接的方法就是通过session,参照网络编程的概念。另外这里的interactivesession是session的更为方便的版本,可以用于computation graph, 后面会详细解释。

* None代表什么意思 x = tf.placeholder(tf.float32,[None, 784]), 代表可以为任何数字!
  • 什么是Epoch

An epoch, in Machine Learning, is the entire processing by the learning algorithm of the entire train-set. The MNIST train set is composed by 55000 samples. Once the algorithm processed all those 55000 samples an epoch is passed. another explaination

我的最后的训练结果为0.91918,每次训练都不一样,将参数换一下训练的结果也会不一样,有兴趣的可以自己调试一下!

后面我们还可以把我的训练出来的参数打印出来:

{% highlight python %} print(sess.run(b)) print(sess.run(W)) {% endhighlight %}

[-0.33944559 0.33142412 0.07108528 -0.22499387 0.0318705 1.15082097 -0.09295515 0.5707342 -1.2930342 -0.20550564] [[ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] ..., [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.]]

Reference

  1. 该教程大部分的材料来自tensorflow官网tensorflow.  
  2. Tensorflow安装教程 目前不支持windows系统