37-FullyConnectedNetwork-mnist-tensorflow.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"http://akhavanpour.ir/notebook/images/srttu.gif\" alt=\"SRTTU\" style=\"width: 150px;\"/>\n",
    "\n",
    "[![Azure Notebooks](https://notebooks.azure.com/launch.png)](https://notebooks.azure.com/import/gh/Alireza-Akhavan/class.vision)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<img src=\"lecture_images/fully_connected.jpg\n",
    "\" alt=\"HTML5 Icon\" style=\"width:600px;\"> \n",
    "<div style=\"text-align:center\">\n",
    "<div style=\"direction:rtl;font-family:tahoma\">\n",
    "مثال عملی ساده\n",
    "، ساده ترین شبکه عصبی، ورودی در وزن ها ضرب شده و پس از افزودن بایاس به یک تابع فعالیت غیر خطی داده میشوند.\n",
    "</div>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Extracting MNIST_data/train-images-idx3-ubyte.gz\n",
      "Extracting MNIST_data/train-labels-idx1-ubyte.gz\n",
      "Extracting MNIST_data/t10k-images-idx3-ubyte.gz\n",
      "Extracting MNIST_data/t10k-labels-idx1-ubyte.gz\n"
     ]
    }
   ],
   "source": [
    "import tensorflow as tf\n",
    "from tensorflow.examples.tutorials.mnist import input_data\n",
    "mnist = input_data.read_data_sets('MNIST_data/', one_hot=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <div style=\"text-align: right;direction:rtl;font-family:tahoma\">ایجاد یک interactive</div> section"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "sess = tf.Session()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <div style=\"text-align: right;direction:rtl;font-family:tahoma\">ایجاد placeholder ها (ورودی ها)</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "__Placeholder 'X':__ \n",
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    " تصاویر ورودی\n",
    "       * هر تصویر ورودی اندازه ی 28 در 28 دارد ؛ در مجموع هر تصویر 784 پیکسل دارد   \n",
    "       * آرگومان 'shape' اندازه تنسور را مشخص می کند.  \n",
    "       * بعد اول = None. اندازه ی batch size یا سایز دسته را مشخص می کند. None یعنی هر تعدادی میتواند باشد.  \n",
    "       * بعد دوم = 784. تعداد پیکسل ها در هر تصویر در مجموعه داده ی Mnist را مشخص میکند. تصاویر reshape شده اند.  \n",
    "<hr>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "__Placeholder 'Y':__\n",
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "خروجی نهایی یا label ها.  \n",
    "       * خروجی 10 کلاسه است (0,1,2,3,4,5,6,7,8,9)  \n",
    "       * آرگومان 'shape' با ابعادش اندازه ی تنسور را مشخص میکند.  \n",
    "       * بعد اول = None. اندازه ی batch size یا سایز دسته را مشخص می کند. None یعنی هر تعدادی میتواند باشد.  \n",
    "       * بعد دوم = 10. تعداد target ها \n",
    "<hr>\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "x  = tf.placeholder(tf.float32, shape=[None, 784])\n",
    "y_ = tf.placeholder(tf.float32, shape=[None, 10])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "### ایجاد variable ها (متغیرها)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "برای نگه داری وزن ها و بایاس شبکه، variable تعریف میکنیم.\n",
    "<br>\n",
    "در اینجا این متغیرها با 0 مقداردهی اولیه شده اند.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Weight tensor\n",
    "W = tf.Variable(tf.zeros([784,10],tf.float32))\n",
    "# Bias tensor\n",
    "b = tf.Variable(tf.zeros([10],tf.float32))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "### اجرای عملیات انتساب"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "Variable ها در تنسورفلو حتما باید مقداردهی اولیه شوند (initialize)\n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "sess.run(tf.global_variables_initializer())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "### اضافه کردن وزن ها و بایاس به ورودی"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"lecture_images/mod_ID_2_final.png\" alt=\"HTML5 Icon\" style=\"width:400px;height:350px;\"> \n",
    "<div style=\"text-align:center\">\n",
    "<div style=\"direction:rtl;font-family:tahoma\">\n",
    "\n",
    "تصویر فوق نحوه ی اضافه شدن وزن ها و بایاس به ورودی را نمایش میدهد. \n",
    "</div>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<tf.Tensor 'add:0' shape=(?, 10) dtype=float32>"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#mathematical operation to add weights and biases to the inputs\n",
    "tf.matmul(x,W) + b"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "### تابع فعالیت softmax"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "\n",
    "Softmax یک تابع فعالیت است که به طور معمول در مسائل طبقه بندی استفاده می شود. \n",
    "<br>\n",
    "این تابع یک سری احتمالات به عنوان خروجی باز میگرداند.\n",
    "برای مثال مدل ما هیچ وقت  100٪ مطمئن نخواهد بود که یک رقم عدد نه است. \n",
    "این تابع فعالیت احتمالاتی را به عنوان خروجی شبکه اعلام میکند ، هنگامی مدل مناسب است که احتمال مربوط به عدد نه  بزرگترین احتمال در بین سایر احتمالات باشد.\n",
    "<hr>\n",
    "برای مقایسه، در زیر one-hot vector برای حالتی که خروجی عدد 9 باشد آورده شده است:\n",
    "\n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "0 --> 0  \n",
    "1 --> 0 \n",
    "2 --> 0\n",
    "3 --> 0\n",
    "4 --> 0\n",
    "5 --> 0\n",
    "6 --> 0\n",
    "7 --> 0\n",
    "8 --> 0\n",
    "9 --> 1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "\n",
    "هیچ وقت الگوریتم به همچین یقینی دست نخواهد یافت. در عوض می‌خواهیم بدانیم بالا ترین احتمال مربوط به کدام عدد است. همچنین دومین بالاترین احتمال کدام عدد خواهد بود. و ...\n",
    "<hr>\n",
    "در زیر یک مثال از یک توزیع فرضی برای رقم 9 آورده شده است:\n",
    "</div>"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "0 -->.0.1%  \n",
    "1 -->...2%  \n",
    "2 -->...3%  \n",
    "3 -->...2%  \n",
    "4 -->..12%  \n",
    "5 -->..10%  \n",
    "6 -->..57%\n",
    "7 -->..20%\n",
    "8 -->..55%\n",
    "9 -->..80%  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"lecture_images/fullysoft.png\" alt=\"HTML5 Icon\" style=\"width:560px;\"> \n",
    "<div style=\"text-align:center\">\n",
    "<div style=\"direction:rtl;font-family:tahoma\">\n",
    "تابع softmax خط به خط اعمل میشود.\n",
    "</div>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "logits = tf.matmul(x,W) + b\n",
    "y = tf.nn.softmax(logits)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "\n",
    "این تابع برای به حداقل رساندن تفاوت بین پاسخ درست (label) و خروجی تخمین زده شده توسط شبکه استفاده می‌شود.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"lecture_images/cross_entropy.png?a=1\" alt=\"HTML5 Icon\"> \n",
    "<div style=\"text-align:center\">\n",
    "Cross Entropy\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "cross_entropy = -tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1])\n",
    "\n",
    "#cross_entropy = tf.nn.softmax_cross_entropy_with_logits_v2(logits=logits,labels=y)\n",
    "cost = tf.reduce_mean(cross_entropy)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "### الگوریتم بهینه سازی: Gradient Descent"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "این بخش مربوط به پیکربندی بهینه ساز شبکه عصبی شما است. \n",
    "چندین روش بهینه سازی در تنسورفلو پیاده سازی شده و در دسترس است، \n",
    "در اینجا از  گرادیان نزولی یا Gradient Descent استفاده خواهیم کرد.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "optimizer = tf.train.GradientDescentOptimizer(0.5)\n",
    "train_step = optimizer.minimize(cost)\n",
    "'''\n",
    "train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cost)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "### آموزش دسته ها(batch ها)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "در عمل، Batch Gradient Descent (محاسبه ی گرادیان با تمام داده های آموزشی به صورت یکجا) استفاده نمی‌شود، چرا که معمولا این کار از لحاظ محاسباتی بسیار پرهزینه خواهد بود.\n",
    "مزیت این روش محاسبه ی گرادیان واقعی مجموعه داده ی آموزشی است، اما به دلیل محاسبات پیچیده معملا در شبکه های عصبی از minibatch استفاده میشود؛ یعنی در هر بار، تعدادی از مجموعه ی آموزشی و نه تمام داده ها برای محاسبه ی گرادیان استفاده میشوند.\n",
    "</div>\n",
    "<hr>\n",
    "<a href=\"http://qa.deeplearning.ir/1078/%D9%85%D8%B4%DA%A9%D9%84-%D8%AF%D8%B1-%D8%A7%D8%AC%D8%B1%D8%A7%DB%8C-%D8%AA%D9%86%D8%B3%D9%88%D8%B1%D9%81%D9%84%D9%88-%D8%A8%D8%A7-gpu\" target=\"_blank\">http://qa.deeplearning.ir/1078/مشکل-در-اجرای-تنسورفلو-با-gpu</a>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Load 50 training examples for each training iteration   \n",
    "for _ in range(1000):\n",
    "    batch = mnist.train.next_batch(50)\n",
    "    sess.run(train_step, feed_dict={x: batch[0], y_: batch[1]})"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "<div style=\"text-align: right;direction:rtl;font-family:tahoma\">\n",
    "### فاز آزمایش یا Test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "The final accuracy for the simple ANN model is: 91.47999882698059 % \n"
     ]
    }
   ],
   "source": [
    "correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))\n",
    "accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))\n",
    "acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}) * 100\n",
    "print(\"The final accuracy for the simple ANN model is: {} % \".format(acc) )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "sess.close() #finish the session"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "<div class=\"alert alert-block alert-info\">\n",
    "<div style=\"direction:rtl;text-align:right;font-family:B Lotus, B Nazanin, Tahoma\"> دانشگاه تربیت دبیر شهید رجایی<br>مباحث ویژه 2 - یادگیری عمیق پیشرفته<br>علیرضا اخوان پور<br>97-98<br>\n",
    "</div>\n",
    "<a href=\"https://www.srttu.edu/\">SRTTU.edu</a> - <a href=\"http://class.vision\">Class.Vision</a> - <a href=\"http://AkhavanPour.ir\">AkhavanPour.ir</a>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}