NN тухай (XOR - Numpy).ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "NcsTXIm1_sgn"
   },
   "source": [
    "# XOR Prediction Neural Network"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "j4RCdo0H_sgo"
   },
   "source": [
    "### XOR GATE ийг сурсан неорал сүлжээ"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "Xe6MFRSZ_sgp"
   },
   "source": [
    "XOR GATE бол бодит тоо нь утгууд нь хоорондоо ялгаатай үед 1 эсвэл түүнээс дээш гаргадаг дижитал логик хаалга."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "UcCRUo99_sgp"
   },
   "source": [
    "**Жишээ нь:**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "u1p2VIDA_sgq"
   },
   "source": [
    "> **A** нь **0** бас **B** нь **0** бол хариу нь **0**, харин **А** нь **0** байхад **Б** нь **1** бол хариу нь **1** байх гэх мэт"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "TxPW_7x4_sgr"
   },
   "source": [
    "<img src=\"./img/XOR.png\" />"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "_7QVN513_sgr"
   },
   "source": [
    "Тэгвэл бид энэхүү XOR Gate ийг неорал сүлжээ ашиглан сургаж үзэцгээе."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "v_WlrVhaWIhA"
   },
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "Ve-4IzPK_sgs"
   },
   "source": [
    "## Excel дээр сургасан жишээ: (data, training, loss гэсэн 3 sheet байгаа)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "kHFJouC1_sgs"
   },
   "source": [
    "* [XOR - NeuralNetwork with Activation](https://drive.google.com/open?id=1K1MjFq1Qsi7aoxRuQy3ox5gYyQvGFX4u7O98AsKuCbo)\n",
    "* [XOR - NeuralNetwork without Activation](https://docs.google.com/spreadsheets/d/18bA51mM32zvYZD88KESiQk1zW0NhoxxAFF75NHBF7y4/edit?usp=sharing)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "J-yRrgf4_sgt"
   },
   "source": [
    "## Neural Network дэлгэрэнгүй"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "sf1jEq5R_sgt"
   },
   "source": [
    "- Input Layer Units = 2 (Мэдээж хэдэн ч оролттой болгож болно)\n",
    "- Hidden Layer Units = 2 (Өөрчилж болно)\n",
    "- Output Layer Units = 1 (Гол зорилго маань input орж ирж байгаа утгууд ялгаатай үед 1 харин ижил үед 0 гаргах хэрэгтэй болхоор зөвхөн нэгхэн хариу гаргаж өгөх хэрэгтэй)\n",
    "- No. of hidden layers = 1\n",
    "- Algorithm: **Backpropagation**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "9ltzbJE7_sgu"
   },
   "source": [
    "<img src=\"./img/NN.png\" width=\"500px\"/>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 170
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8489,
     "status": "ok",
     "timestamp": 1563871072608,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "hDSvzPWw_sgv",
    "outputId": "03b9ad1e-42a4-4796-eb07-502240948ffb"
   },
   "outputs": [],
   "source": [
    "!pip install numpy\n",
    "!pip install matplotlib"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "1-KM_kZq_sg1"
   },
   "outputs": [],
   "source": [
    "import numpy as np # Матриц дээр математикийн үйлдлүүд хийхийн тулд\n",
    "import matplotlib.pyplot as plt # Дүрсэлж харуулхад хэрэглэгддэг сан\n",
    "import sys # For printing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "1kNRHXq2_sg3"
   },
   "outputs": [],
   "source": [
    "# Сургалтын өгөгдөл\n",
    "X = np.array([\n",
    "    [0,0],\n",
    "    [0,1],\n",
    "    [1,0],\n",
    "    [1,1]\n",
    "])\n",
    "# Сургалтын өгөгдлийн зорилгот хариу\n",
    "y = np.array([\n",
    "    [0],\n",
    "    [1],\n",
    "    [1],\n",
    "    [0]\n",
    "])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 85
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8458,
     "status": "ok",
     "timestamp": 1563871072614,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "qZDqLMcz_sg5",
    "outputId": "91bd91db-814e-4e54-d813-10f1f5f2612c"
   },
   "outputs": [],
   "source": [
    "X"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 85
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8450,
     "status": "ok",
     "timestamp": 1563871072614,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "-vAz6igl_sg7",
    "outputId": "831a4ef8-8459-47fb-d49c-e840d54f75b7"
   },
   "outputs": [],
   "source": [
    "y"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "muMbg48Y_sg-"
   },
   "source": [
    "### Нэмэлт параметерс"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "F4KqYK6o_sg-"
   },
   "source": [
    "Зөвхөн weight ийн хэмжээг тодорхойлход ашиглагдаж байгаа"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "CrEiqvZd_sg_"
   },
   "outputs": [],
   "source": [
    "num_i_units = 2 # Number of Input units\n",
    "num_h_units = 2 # Number of Hidden units\n",
    "num_o_units = 1 # Number of Output units"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "pojPD5sg_shD"
   },
   "source": [
    "### Weights and Biases"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "A52LpKST_shE"
   },
   "source": [
    "NN -ыг нарийвлал сайн таахад хэрэгтэй тоонууд"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "rje6lD0Z_shE"
   },
   "source": [
    "\n",
    "Оролтын давхаргаас далд давхаргад холбохын тулд weight ба bias утгыг дараах дарааллаар байрлуулна: **оролтын нэгж бүр hidden нэгж тус бүртэй холбогдсон weight агуулна**. Дараа нь эдгээр weight -ийн олонлог хэлбэр нь: **hidden layer -ын нэгж тоо X оролтын өгөгдлийн нэгж тоо** ба bias -ын хэлбэр нь: **hidden layer -ын нэгжийн тоо X 1** байна."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "S7Unx-Q2_shF"
   },
   "source": [
    "Тиймээс weight болон bias хэлбэр нь доорх хэлбэртэй байна"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "LsZ7lIbp_shG"
   },
   "source": [
    "**Weights1(Connection from input to hidden layers)**: num_h_units X num_i_units **Biases1(Connection from input to hidden layers)**: num_h_units X 1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "Zz8wQER8_shG"
   },
   "source": [
    "**Weights2(Connection from hidden to output layers)**: num_o_units X num_h_units **Biases2(Connection from hidden to output layers)**: num_o_units X 1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "dZCZAdYp_shH"
   },
   "source": [
    "### Weight -үүдэд анхны утгыг оноох нь"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "mIKF2KNw_shL"
   },
   "source": [
    "Weight -үүдээ рандомоор үүсгэхдээ  [Normal Distribution(Gaussian Distribution)](http://mathworld.wolfram.com/NormalDistribution.html) арга ашигласан. Мөн эдгээр weight seed хийгдсэн бөгөөд дахин ажилуулхад ижил үүсгэж өгөх юм."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "GSLsW9kM_shM"
   },
   "outputs": [],
   "source": [
    "np.random.seed(1)\n",
    "W1 = np.random.normal(0, 1, (num_h_units, num_i_units)) # 2x2\n",
    "W2 = np.random.normal(0, 1, (num_o_units, num_h_units)) # 1x2\n",
    "\n",
    "B1 = np.random.random((num_h_units, 1)) # 2x1\n",
    "B2 = np.random.random((num_o_units, 1)) # 1x1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 51
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8434,
     "status": "ok",
     "timestamp": 1563871072621,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "D9t7ngYh_shO",
    "outputId": "8cf69a5a-0b85-4b8c-a454-40b81116f90b"
   },
   "outputs": [],
   "source": [
    "W1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 34
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8428,
     "status": "ok",
     "timestamp": 1563871072621,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "Nraa45iO_shR",
    "outputId": "eaf8be24-2afb-4dd7-d0be-e34e85a64caa"
   },
   "outputs": [],
   "source": [
    "W2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 51
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8968,
     "status": "ok",
     "timestamp": 1563871073168,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "QeQzqLqy_shT",
    "outputId": "cc26a431-df99-4710-c37a-33c223f97d5a"
   },
   "outputs": [],
   "source": [
    "B1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 34
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8962,
     "status": "ok",
     "timestamp": 1563871073169,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "sorAz7C3_shX",
    "outputId": "e6f67475-3a8a-4c14-ce88-ce3f055ec647"
   },
   "outputs": [],
   "source": [
    "B2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "D3YTBok3_sha"
   },
   "source": [
    "### Sigmoid Function"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "NbfXMUpy_shb"
   },
   "source": [
    "Энэ функц нь оролтын утгыг 0 ээс 1 хооронд өөрчилж өгдөг шугаман бус функц юм"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "KKMXCmrY_shc"
   },
   "source": [
    "<img src=\"./img/sigmoid.png\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "c-yB395H_shd"
   },
   "source": [
    "Sigmoid activation function хэрэглэх тул хялбар байдлаар функц болгож бичлээ. Мөн derv parameter утга true үед sigmoid авсан утга оруулахад сигмойдын уламжлалыг гаргана."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "p4mOokDL_she"
   },
   "outputs": [],
   "source": [
    "def sigmoid(z, derv=False):\n",
    "    if derv: return z * (1.0 - z)\n",
    "    return 1.0 / (1.0 + np.exp(-z))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "O31X8ig1_shB"
   },
   "source": [
    "### Neuron сүлжээний хайпер параметерс"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "2m7jjZ-S_shB"
   },
   "source": [
    "NN-ын шууд хэрэглэгдэх параметерууд"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "M_ZXm3A4_shC"
   },
   "outputs": [],
   "source": [
    "# The learning rate for Gradient Descent.\n",
    "learning_rate = 0.1\n",
    "\n",
    "# Maximum iterations for Gradient Descent.\n",
    "max_iter = 10000\n",
    "\n",
    "# Number of training examples\n",
    "m = 4"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "8I_6vjWr_shg"
   },
   "source": [
    "### Training (Сургалт)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "HueCz4yG_shh"
   },
   "source": [
    "Суртгалт нь Forward propagation ба [Backpropagation](http://neuralnetworksanddeeplearning.com/chap2.html) гэх хоёр хэсгээс бүрдэнэ."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "S5YpoO0I_shh"
   },
   "source": [
    "### Forward Propagation"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "A7EpIQDQ_shi"
   },
   "source": [
    "Хэрхэн prediction хийгдэж байгааг [энд](https://en.wikipedia.org/wiki/Feedforward_neural_network)ээс харна уу ."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "Ei5RTq1a_shj"
   },
   "source": [
    "2 хэмжээст векторыг 2x1 хэмжээст матрикс болгоно. Predict boolean хувьсагч утга true байвал зөвхөн predict хйинэ харин false байвал бүх layer ийн гаралтыг буцаана."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "HrqMgnZn_shk"
   },
   "outputs": [],
   "source": [
    "def forward(x, W1, W2, B1, B2,predict=False):\n",
    "    X0 = x.reshape(x.shape[0], 1) # Getting the training example as a column vector.\n",
    "\n",
    "    z1 = W1.dot(X0) + B1 # 2x2 * 2x1 + 2x1 = 2x1\n",
    "    a1 = sigmoid(z1) # 2x1\n",
    "\n",
    "    z2 = W2.dot(a1) + B2 # 1x2 * 2x1 + 1x1 = 1x1\n",
    "    a2 = sigmoid(z2)\n",
    "\n",
    "    if predict: return a2\n",
    "    return (X0, a1, a2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "8WdPfkJ5_shl"
   },
   "source": [
    "### Backpropagation"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "3xJiQvCv_shm"
   },
   "source": [
    "Сүүлйин гаралтын pred - утгаас алдааг тооцож, тооцсон алдаанаас тухайн weight, bias-н утгыг аль чиглэл рүү өөрчлөхөө chain rule, уламжлал ашиглан олж тухайн чиглэл рүү learning rate-ээр ашиглан өөрчилнө.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "sbNtnK3d_shm"
   },
   "source": [
    "Бидний NN-ын backpropagation алхамууд:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "psLYXl9S_shn"
   },
   "source": [
    "1. a2 буюу гаралтын pred утга хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? da2 = dL/da2\n",
    "2. z2 өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dz2 = dL/da2 * da2/dz2.\n",
    "3. W2 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dW2 = dL/dz2 * dz2/dW2.\n",
    "4. a1 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? da1 = dL/dz2 * dz2/da1\n",
    "5. z1 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ?. dz1 = dL/da1 * da1/dz1\n",
    "6. W1 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dW1 = dL/dz1 * dz1/dw1\n",
    "7. B1 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dB1 = dL/dz1 * dz1/dB1\n",
    "7. B2 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dB1 = dL/dz2 * dz2/dB2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "ylyG64FUJbMu"
   },
   "source": [
    "Gradient бодсоны дараа W1, W2, B1, B2 -уудыг өөрчлөхдөө тухайн уламжлалыг(Positive gradient or Negative gradient)ашиглан learning_rate-ээр үржих буюу гарж ирсэн чиглэл рүү алхана."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "KvazX-FfLlKA"
   },
   "source": [
    "- W2 update хийхдээ W2' := W2 - (learning_rate * dW2)\n",
    "- W1 update хийхдээ W1' := W1 - (learning_rate * dW1)\n",
    "- B2 update хийхдээ B2' := B2 - (learning_rate * dB2)\n",
    "- B1 update хийхдээ B1' := B1 - (learning_rate * dB1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "aceniY2lbizk"
   },
   "source": [
    "**Жишээ нь:** W2 ын gradient нь нэмэх гарвал энэ нь бид параболын баруун талд байна гэсэн үг тиймээс голрүү дөхөхийн тулд W2 - (learning_rate * dW2) буюу weight-г learning_rate ээр бууруулна гэсэн үг болж байгаа юм."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "ZmkIW3v8cr96"
   },
   "source": [
    "Эсрэгээрээ gradient хасах гарж байна гэдэг нь бид параболын зүүн талд байгаа гэсэн үг болж голруу дөхөхийн тулд W2 - (learning_rate *  (**-** dW2)) буюу W2 + (learning_rate * dW2) болж weight-ыг нэмэх юм."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "16wccL8qL-H0"
   },
   "source": [
    "<img src=\"./img/gradient descent.png\" />"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "XMzWOMjc_sho"
   },
   "source": [
    "<img src=\"./img/nn-matrix.png\" width=\"500px\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Алдаагаа хэмжихдээ **cross entropy loss function**-г ашигласан болхоор cross entropy-гийн уламжлал нь\n",
    "<img src=\"./img/cross-entropy.png\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "bfksuKvv_sho"
   },
   "outputs": [],
   "source": [
    "def train(_W1, _W2, _B1, _B2): # The arguments are to bypass UnboundLocalError error\n",
    "    costs = []\n",
    "    for i in range(max_iter):\n",
    "        sys.stdout.flush() # Updating the text.\n",
    "        L = 0\n",
    "        dW1 = 0\n",
    "        dW2 = 0\n",
    "\n",
    "        dB1 = 0\n",
    "        dB2 = 0\n",
    "        for j in range(m):\n",
    "            # Forward prop\n",
    "            X0, a1, a2 = forward(X[j], _W1, _W2, _B1, _B2)\n",
    "            # -(ylog(pred)+(1-y)log(1-pred))\n",
    "            L = L + (-(y[j] * np.log(a2) + ((1 - y[j]) * np.log(1 - a2))))\n",
    "            # Backward\n",
    "            # a2 буюу гаралтын pred утга хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? da2 = dL/da2\n",
    "            # буюу cross entropy function-н уламжлал\n",
    "            da2 = (a2 - y[j])/sigmoid(a2, derv=True)\n",
    "            # z2 өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dz2 = dL/da2 * da2/dz2 = da2 * a2'. (a2' буюу a2 бол сигмойд гарж ирсэн үр дүн болхоор сигмойдын уламжлал авна)\n",
    "            dz2 = da2 * sigmoid(a2, derv=True)\n",
    "            # w2 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dLw2 = dz2 * dz2/dw2 = dz2 * ((a1 * W2 + B2)/dW2) =  dz2 * a1\n",
    "            dW2 += np.multiply(dz2, a1.T)\n",
    "            # B2 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dLb2 = dz2 * dz2/db2 = dz2 * ((a1 * W2 + B2)/dW2) =  dz2 * 1\n",
    "            dB2 += dz2\n",
    "            # a1 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dLa1 = dz2 * dz2/da1 = dz2 * ((a1 * W2 + B2)/da1) = dz2 * W2\n",
    "            da1 = np.multiply(dz2, _W2.T)\n",
    "            # z1 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ?. dLz1 = da1 * da1/dz1 = da1 * a1' = (a1' буюу a1 бол сигмойд гарж ирсэн үр дүн болхоор сигмойдын уламжлал авна)\n",
    "            dz1 = np.multiply(da1, sigmoid(a1, derv=True))\n",
    "            # w1 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dLw1 = dz1 * dz1/dw1 = dz1 * ((X * W1 + B1)/dW1) = dz1 * X\n",
    "            dW1 += dz1.dot(X0.T)\n",
    "            # B1 хэрхэн өөрчлөгдөхөд Loss яаж өөрчлөгдөх вэ? dLb1 = dz1 * dz1/db2 = dz1 * ((X * W1 + B1)/dB1) = dz1 * 1\n",
    "            dB1 += dz1\n",
    "            \n",
    "        _W2 = _W2 - (learning_rate * (dW2/m))\n",
    "        _B2 = _B2 - (learning_rate * (dB2/m))\n",
    "        _W1 = _W1 - (learning_rate * (dW1/m))\n",
    "        _B1 = _B1 - (learning_rate * (dB2/m))\n",
    "        costs.append((L/m).reshape(-1))\n",
    "        sys.stdout.write(\"\\rIteration: {} and {}\".format(i + 1, costs[-1]))\n",
    "    return _W1, _W2, _B1, _B2, costs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 34
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 36183,
     "status": "ok",
     "timestamp": 1563871100419,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "4v9iZyBC_shq",
    "outputId": "ef483bb6-ea8a-4b50-bbe2-57b0af2a393a"
   },
   "outputs": [],
   "source": [
    "W1, W2, B1, B2, costs = train(W1, W2, B1, B2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 283
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 36179,
     "status": "ok",
     "timestamp": 1563871100420,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "IEE18J-T_sht",
    "outputId": "8dad6f29-3783-4355-e293-0f195868103b"
   },
   "outputs": [],
   "source": [
    "plt.plot(range(max_iter), costs)\n",
    "\n",
    "# Labelling the x axis as the iterations axis.\n",
    "plt.xlabel(\"Iterations\")\n",
    "\n",
    "# Labelling the y axis as the cost axis.\n",
    "plt.ylabel(\"Cost\")\n",
    "\n",
    "# Showing the plot.\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 51
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 36171,
     "status": "ok",
     "timestamp": 1563871100420,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "Io4WRQhVYNnT",
    "outputId": "f36d6c4c-7166-44d5-fde4-c2e7d5e2057b"
   },
   "outputs": [],
   "source": [
    "print(X[1])\n",
    "print(y[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 34
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 36166,
     "status": "ok",
     "timestamp": 1563871100421,
     "user": {
      "displayName": "Tuvshinbayar Tuvshinzul",
      "photoUrl": "",
      "userId": "01278297265491069175"
     },
     "user_tz": -480
    },
    "id": "YieNTI6K_shv",
    "outputId": "c4020f47-9caa-4ea3-d9d3-b652600ab0f2"
   },
   "outputs": [],
   "source": [
    "forward(X[1], W1, W2, B1, B2, predict=True)[0][0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "30yvEFIoGN0B"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "NN тухай (XOR - Numpy).ipynb",
   "provenance": [],
   "version": "0.3.2"
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}