RNN.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 언어모델"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**RNN을 알아보기 전에 언어모델 에 대하여 먼저 알아보자.**\n",
    "언어모델 이란 단어 나열에 확률을 부여하여 특정한 단어의 시퀀스에 대해서, 그 시퀀스가 일어날 가능성이 어느 정도인지를 확률로 평하하는 것 이다.  \n",
    "이러한 언어모델을 수식으로 살펴보면 아래와 같다.  \n",
    "<span>$w_1, .., w_m$</span>이라는 m개의 단어로 된 문장이 있다고 하였을때, <span>$w_1, .., w_m$</span>이 차례로 출현할 확률은 P(<span>$w_1, .., w_m$</span>)이다.  \n",
    "위의 식을 풀어서 쓰면 아래와 같다.  \n",
    "<p>$$P(w_1, .., w_m) = P(w_m|w_1, .., w_{m-1})P(w_{m-1}|w_1, .., w_{m-2}) ... P(w_2|w_1)P(w_1)$$</p>\n",
    "<p>$$=\\prod_{t=1}^m P(w_t|w_1, ..., w_{t-1})$$</p>\n",
    "위의 식을 정리하게 전에 아래 **확률곱셈정리**를 보게 되면 아래와 같은 식이 된다.  \n",
    "<p>$$P(A,B) = P(A|B)P(B)$$</p>\n",
    "위의 의미는 즉 A와 B가 모두 일어날 확률(P(A,B)) 는 B가 일어날 확률 P(B)와 B가 일어난 후 A가 일어날 확률 P(A|B)를 곱한 값과 같다는 것이다.  \n",
    "위의 식을 사용하게 되면 아래의 식을 다음과 같이 정리할 수 있다.  \n",
    "<p>$$P(w_1, ..., w_{m-1},w_m) = P(A,w_m) = P(w_m|A)P(A)$$</p>\n",
    "위의 식에서 <span>$$P(w_m)$$</span>을 사후 확률이라 하고 <span>$$P(A)$$</span>를 타겟 확률이라 할때 사후확률은 타깃단어보다 왼쪽에 있는 모든 단어를 맥락으로 했을 때의 확률 이다.  \n",
    "\n",
    "이러한 언어 모델을 사용하기 위하여 지난 POST에서 올릴 **CBOW Model**을 살펴보게 되면 아래와 같이 나타낼 수 있다.  \n",
    "<p>$$P(w_1, .., w_m) = \\prod_{t=1}^m P(w_t|w_1, ..., w_{t-1}) \\approx \\prod_{t=1}^m P(w_t|w_{t-2},w_{t-1})(CBOW Model)$$</p>\n",
    "위와 같이 CBOW를 언어 Model로서 사용하게 되면 **Window size 때문에 이전정보는 가져올 수 없다는 단점과 맥락안의 단어 순서 무시가 되는 단점이 발생한다.**  \n",
    "위와 같은 단점을 해결하기 위한 Model이 RNN이다.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### RNN\n",
    "RNN(Recurrent Neural Network)이란 **순차적인 정보**를 처리하는 데 있다.  \n",
    "즉, 이전 까지 반복하였던 **상관없는 두 변수간의 값으로 인한 정보를 처리하는 것이 아닌 한 정보에 대한 특정 Domain의 값을 나타내는 정보를 처리하는 것** 이다.  \n",
    "예를 들어, 문장에서 다음에 나올 단어를 추측하고 싶다면 이전에 나온 단어들을 아는 것이 큰 도움이 될 것이다.  \n",
    "또한 집의 가격이 어떻게 변할지에 대하여 한 집의 가격을 계속 관찰하게 되면 집의 가격이 **시간(Domain)에 따라 어떻게 변하는지(시계열 데이터) 예측**할 수 있을 것이다.  \n",
    "위의 예시가 가능한 이유는 동일한 Task에 대하여 **하나의 Hidden Layer**를 계속하여 Trainning 하기 떄문이다.  \n",
    "출력 결과는 이전의 계산 결과에 영향을 받기 때문에 RNN은 현재지 계산된 결과에 대한 \"메모리\" 정보를 갖고 있다고 볼 수도 있다.  \n",
    "RNN의 구조는 아래와 같이 나타낸다.  \n",
    "<div><img  src=\"http://www.wildml.com/wp-content/uploads/2015/09/rnn.jpg\" width=\"100%\" height=\"100%\"></div>\n",
    "- <span>$x_t$</span>는 시간 스텝(time step) t 에서의 입력값이다.\n",
    "- <span>$x_t$</span>는 시간 스텝(time step) t 에서의 Hidden state이다. 네트워크의 \"메모리\" 부분으로서, 이전 시간의 스텝의 hidden state 값과 현재 시간 스텝의 입력값에 의해 계산된다.  \n",
    "<span>$s_t = f(Ux_t + Ws_{t-1}) \\text{   f는 tanh or ReLU}$</span>\n",
    "- <span>$o_t$</span>는 시간 스텝(time step)에서의 출력값이다. 예를 들어 다음 단어를 추축하고 싶다면 단어 수만큼의 차원의 확률 벡터가 될 것이다. <span>$o_t = softmax(Vs_t)$</span>\n",
    "\n",
    "몇 가지 짚어두고 넘어갈 점이 있다.  \n",
    "- Hidden state s_t는 네트워크의 메모리라고 생각할 수 있다. - s_t는 과거의 시간 스텝들에서 일어난 일들에 대한 정보를 전부 담고 있고, 출력값 o_t는 오로지 현재 시간 스텝 t의 메모리에만 의존한다. 하지만 위에서 잠깐 언급했듯이, 실제 구현에서는 너무 먼 과거에 일어난 일들은 잘 기억하지 못한다.  \n",
    "- 각 layer마다의 파라미터 값들이 전부 다 다른 기존의 deep한 신경망 구조와 달리, RNN은 모든 시간 스텝에 대해 파라미터 값을 전부 공유하고 있다 (위 그림의 U, V, W). 이는 RNN이 각 스텝마다 입력값만 다를 뿐 거의 똑같은 계산을 하고 있다는 것을 보여준다. 이는 학습해야 하는 파라미터 수를 많이 줄여준다.  \n",
    "- 위 다이어그램에서는 매 시간 스텝마다 출력값을 내지만, 문제에 따라 달라질 수도 있다. 예를 들어, 문장에서 긍정/부정적인 감정을 추측하고 싶다면 굳이 모든 단어 위치에 대해 추측값을 내지 않고 최종 추측값 하나만 내서 판단하는 것이 더 유용할 수도 있다. 마찬가지로, 입력값 역시 매 시간 스텝마다 꼭 다 필요한 것은 아니다. RNN에서의 핵심은 시퀀스 정보에 대해 어떠한 정보를 추출해 주는 hidden state이기 때문이다.  \n",
    "출처: <a href=\"http://aikorea.org/blog/rnn-tutorial-1/\">aikorea</a><br>\n",
    "\n",
    "### RNN BackPropagation  \n",
    "RNN을 아래와 같은 그림으로 같단히 나타내어 보자.  \n",
    "<div><img src=\"http://www.wildml.com/wp-content/uploads/2015/10/rnn-bptt1.png\" height=\"250\" width=\"600\" /></div><br>\n",
    "위와 같은 그림에서 다음과 같은 식을 정의하고 가자  \n",
    "Activation Function: tanh  \n",
    "Classifier: Softmax  \n",
    "<p>$s_t = tanh(Ux_t + Ws_{t-1})$</p>\n",
    "<p>$\\hat{y_t} = softmax(Vs_t) $</p>\n",
    "<p>$y_t \\text{: 시간 스텝 t 에서 실제 단어, } \\hat{y_t} \\text{: 예측값}$</p>\n",
    "Loss Function: Cross Entropy  \n",
    "<p>$E(y_t,\\hat{y_t}) = -y_t log(\\hat{y_t})$</p>\n",
    "<p>$E(y,\\hat{y}) = -\\sum_t{E(y_t,\\hat{y_t})}$</p>\n",
    "<p>$= -\\sum_t{-y_t log(\\hat{y_t})}$</p>\n",
    "\n",
    "**Parameter U, V, W 에 대한 Error 의 Gradient 를 계산하고 SGD를 이용하여 Parameter를 최적화 하여 Loss를 적게 만드는 것이 목표이다.**  \n",
    "\n",
    "**1. Parameter V**  \n",
    "<p>$\\frac{\\partial E_3}{\\partial V} = \\frac{\\partial E_3}{\\partial \\hat{y_3}} \\frac{\\partial \\hat{y_3}}{\\partial V}$</p>\n",
    "<p>$= \\frac{\\partial E_3}{\\partial \\hat{y_3}} \\frac{\\partial \\hat{y_3}}{\\partial z_3} \\frac{\\partial z_3}{\\partial V} $</p>\n",
    "<p>$= (\\hat{y_3} - y_3) \\bigotimes s_3$</p>\n",
    "<p>$ z_3 = Vs_3$</p>\n",
    "위의 식에서 <span>$\\frac{\\partial E_3}{\\partial \\hat{y+3}} \\frac{\\partial \\hat{y_3}}{\\partial z_3}$</span>의 경우 Softmax-with-Loss의 역전파로서 계산 과정을 건너 뛰었다.  \n",
    "<a href=\"https://wjddyd66.github.io/tensorflow/2019/08/18/Logistic-Regression.html\">Softmax-with-Loss의 역전파</a><br>\n",
    "\n",
    "위의 식에서 주목해야 할 점은 **<span>$\\frac{\\partial E_3}{\\partial V}$</span>은 현재 시간 스탭의 <span>$\\hat{y_3}, y_3, s_3$</span>**에만 의존한다는 것이다.  \n",
    "즉 **V Parameter를 갱신하는 것은 현재 시간 스탭의 값만 알아도 수행할 수 있다는 점** 이다.  \n",
    "\n",
    "**2. Parameter W, U**  \n",
    "**W, U**에 대해서 정리하면 **V**처럼 **현재 시간 스탭의 값만 알아도 수행할 수 없다는 것**을 알 수 있다.  \n",
    "아래의 식으로서 살펴보자  \n",
    "<p>$\\frac{\\partial E_3}{\\partial W} = \\frac{\\partial E_3}{\\partial \\hat{y_3}} \\frac{\\partial \\hat{y_3}}{\\partial s_3} \\frac{\\partial s_3}{\\partial W}$</p>\n",
    "여기서 <span>$s_t = tanh(Ux_t + Ws_{t-1})$</span>이므로\n",
    "<span>$s_3$</span>는 <span>$s_2$</span>에 의존하고 <span>$s_2$</span>는 <span>$s_1$</span>에 의존하는 현상이 발생하게 된다.  \n",
    "\n",
    "이러한 상황으로 인하여 **Chain Rule**이 계속해서 이어지는 것을 알 수 있다.  \n",
    "\n",
    "아래 식을 살펴보게 되면 **Chain Rule**을 적용한 식을 알 수 있다.  \n",
    "<p>$\\frac{\\partial E_3}{\\partial W} = \\sum_{k=0}^{3} \\frac{\\partial E_3}{\\partial \\hat{y_3}} \\frac{\\partial \\hat{y_3}}{\\partial s_3} \\frac{\\partial s_3}{\\partial s_k} \\frac{\\partial s_k}{\\partial W} $</p>\n",
    "\n",
    "위의 식을 살펴보게 되면 **각 시간 스텝이 gradient에 기여**하는 것을 전부 더해준다.  \n",
    "즉, W는 우리가 현재 처리중인 출력 부분까지의 모든 시간 스템에서 사용되기 때문에, t=3 부터 t=0 까지 gradient들을 전부 backpropagat해 주어야 한다.  \n",
    "<div><img src=\"http://www.wildml.com/wp-content/uploads/2015/10/rnn-bptt-with-gradients.png\" height=\"250\" width=\"600\" /></div><br>\n",
    "위를 살펴보게 되면 기존 Neural Network에서 적용되는 backpropagate의 과정과 같은 것을 알 수 있다.  \n",
    "<p>$z_t = Ux_t + WS_{t-1} \\text{이라고 치환}$</p>\n",
    "<p>$\\delta_3^3 = \\frac{\\partial E_3}{\\partial z_3}$</p>\n",
    "<p>$ = \\frac{\\partial E_3}{\\partial \\hat{y_3}} \\frac{\\partial \\hat{y_3}}{\\partial z_3}$</p>\n",
    "<p>$\\text{softmax_with_crossentropy backpropagation을 적용하면}$</p>\n",
    "<p>$ = (\\hat{y_3} - y_3)s_3$</p>  \n",
    "<p>$\\delta_2^3 = \\frac{\\partial E_3}{\\partial z_2}$</p>\n",
    "<p>$ = \\frac{\\partial E_3}{\\partial z_3} \\frac{\\partial z_3}{\\partial s_2} \\frac{\\partial s_2}{\\partial z_2}$</p>  \n",
    "<p>$= \\delta_3^3 \\frac{\\partial z_3}{\\partial s_2} \\frac{\\partial s_2}{\\partial z_2}$</p>  \n",
    "<p>$\\delta_1^3 = \\frac{\\partial E_3}{\\partial z_1}$</p>\n",
    "<p>$ = \\frac{\\partial E_3}{\\partial z_2} \\frac{\\partial z_2}{\\partial s_1} \\frac{\\partial s_1}{\\partial z_1}$</p>  \n",
    "<p>$= \\delta_2^3 \\frac{\\partial z_2}{\\partial s_1} \\frac{\\partial s_1}{\\partial z_1}$</p>  \n",
    "위의 식을 유도하였으면 아래와 같은 식을 최종적으로 얻어 낼 수 있다.  \n",
    "i 는 특정 시간 스탭이라고 하면  \n",
    "<p>$\\frac{\\partial E_3}{\\partial U} = \\delta_i^3 x_i^{T}$</p>\n",
    "<p>$\\frac{\\partial E_3}{\\partial W} = \\delta_i^3 s_{i-1}^{T}$</p>\n",
    "RNN이므로 계산된 값을 모두 더해주는 것을 말고는 Neural Network의 Backpropagation과 같은 식이 유도되는 것을 알 수 있다.  \n",
    "\n",
    "위와 같은 식에서 **Activation Function을 tanh을 사용하면 Backpropagation은 아래와 같이 나타낼 수 있다.**  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### RNN Forward & Backward"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "class RNN:\n",
    "    def __init__(self, Wx, Wh, b):\n",
    "        self.params = [Wx, Wh, b]\n",
    "        self.grads = [np.zeros_like(Wx), np.zeros_like(Wh), np.zeros_like(b)]\n",
    "        self.cache = None\n",
    "\n",
    "    def forward(self, x, h_prev):\n",
    "        Wx, Wh, b = self.params\n",
    "        t = np.dot(h_prev, Wh) + np.dot(x, Wx) + b\n",
    "        h_next = np.tanh(t)\n",
    "\n",
    "        self.cache = (x, h_prev, h_next)\n",
    "        return h_next\n",
    "    \n",
    "    def backward(self, dh_next):\n",
    "        Wx, Wh, b = self.params\n",
    "        x, h_prev, h_next = self.cache\n",
    "\n",
    "        dt = dh_next * (1 - h_next ** 2) #tanh 미분\n",
    "        db = np.sum(dt, axis=0) # 더하기 미분\n",
    "        dWh = np.dot(h_prev.T, dt) # x 미분 (h_{t-1} x w_h)\n",
    "        dh_prev = np.dot(dt, Wh.T)\n",
    "        dWx = np.dot(x.T, dt)\n",
    "        dx = np.dot(dt, Wx.T)\n",
    "\n",
    "        self.grads[0][...] = dWx\n",
    "        self.grads[1][...] = dWh\n",
    "        self.grads[2][...] = db\n",
    "\n",
    "        return dx, dh_prev"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Truncated BPTT  \n",
    "위와 같은 쭉 이어진 RNN의 Backpropagation을 BPTT(Backpropagation Through Time)이라고 한다.  \n",
    "위와같은 Backpropagation은 문제가 발생하게 된다.  \n",
    "1. Gradinet가 무한대로 발산하거나, 무한히 작아질 수 있다(vainshing and exploding gradients)\n",
    "2. RNN의 길이가 많이 길 수록 Error가 이전 시간으로 전달될 때 많이 희석된다.\n",
    "\n",
    "이러한 문제를 해결하기 위하여 **장기 기억을 적절한 단위로 쪼개서 학습시키자는 아이디어. 이는 vanishing and exploding gradients문제를 해결하면서, 동시에 특정 인풋에 적합한 시간 window를 사용하자는 것으로 해석이 가능**하다.  \n",
    "\n",
    "이러한 대표적인 방식으로 **Truncated BPTT**가 존재한다.  \n",
    "아래 그림을 살펴보게 되면 Truncated BPTT를 어떻게 구현하는지 알 수 있다.  \n",
    "<div><img src=\"http://r2rt.com/static/images/RNN_tf_truncated_backprop.png\" height=\"250\" width=\"600\" /></div>\n",
    "<br>\n",
    "위의 그림과 같이 시계열 데이터를 특정 시간으로 잘라 옮겨주는 작업을 통해 구현될 수 있다.  \n",
    "\n",
    "**Forward는 반드시 이어질 것을 요구하지만 Forward의 경우에도 특정 길이 이상은 Long Term Dependency가 보장될 확률이 매우 낮으므로 Batch처리에서 아래 그림과 같이 Forward의 경우에도 잘라서 학습을 진행한다.**  \n",
    "<div><img src=\"https://raw.githubusercontent.com/wjddyd66/wjddyd66.github.io/master/static/img/AI/98.PNG\" height=\"250\" width=\"600\" /></div>\n",
    "<br>\n",
    "\n",
    "**Backward는 Forward와 달리 bainshing and exploding gradients문제 때문에 적절한 Window로 잘라서 학습시키는 것이 좋은 성능을 보여준다. 아래 그림은 Truncated BPTT의 Backporpagation이다.**  \n",
    "<div><img src=\"http://r2rt.com/static/images/RNN_tf_truncated_backprop.png\" height=\"250\" width=\"600\" /></div>\n",
    "Truncated BPTT는 아래와 같이 구현될 수 있다.  \n",
    "**Batch Truncated BPTT 초기화**  \n",
    "-  stateful: Truncated BPTT를 유지할 것인지 아닌지를 결정\n",
    "- layers: 다수의 RNN계층을 리스트로 저장(Batch 처리)\n",
    "- h: forward() Method호출 시 마지막 RNN 계층의 은닉상태 저장\n",
    "- dh: backward() Method호출 시 하나 앞 블록의 은닉 상태의 기울기를 저장\n",
    "\n",
    "**Forward 구현**  \n",
    "- N: 미니 배치 크기\n",
    "- T: RNN Layer를 한번에 처리하는 갯수\n",
    "- D: 입력 벡터의 차원 수\n",
    "- H: Hidden Layer의 Size\n",
    "- hs: Batch 처리와 RNN Layer를 묶은 Output\n",
    "\n",
    "**Backward 구현**  \n",
    "- N: 미니 배치 크기\n",
    "- T: RNN Layer를 한번에 처리하는 갯수\n",
    "- D: 입력 벡터의 차원 수\n",
    "- H: Hidden Layer의 Size\n",
    "- hs: Batch 처리와 RNN Layer를 묶은 Output\n",
    "\n",
    "현재 Layer에서는 **RNN BackPropagation에서 softmax를 지나기 전이므로 Update 시켜야 하는 Parameter는 W, U이다. 이러한 두 Parameter는 현재 처리중인 출력 부분까지의 모든 시간 Step에서 사용되기 때문에 BackPropataion의 값을 계속해서 전달해야 한다.**  \n",
    "\n",
    "여기에서는 **Batch Truncated BPTT**를 사용하였으므로 시계열 크기(T)에 대해서만 생각한다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "class TimeRNN:\n",
    "    def __init__(self, Wx, Wh, b, stateful=False):\n",
    "        self.params = [Wx, Wh, b]\n",
    "        self.grads = [np.zeros_like(Wx), np.zeros_like(Wh), np.zeros_like(b)]\n",
    "        self.layers = None\n",
    "\n",
    "        self.h, self.dh = None, None\n",
    "        self.stateful = stateful\n",
    "    \n",
    "    def forward(self, xs):\n",
    "        Wx, Wh, b = self.params\n",
    "        N, T, D = xs.shape\n",
    "        D, H = Wx.shape\n",
    "\n",
    "        self.layers = []\n",
    "        hs = np.empty((N, T, H), dtype='f')\n",
    "\n",
    "        if not self.stateful or self.h is None:\n",
    "            self.h = np.zeros((N, H), dtype='f')\n",
    "\n",
    "        for t in range(T):\n",
    "            layer = RNN(*self.params)\n",
    "            self.h = layer.forward(xs[:, t, :], self.h)\n",
    "            hs[:, t, :] = self.h\n",
    "            self.layers.append(layer)\n",
    "            \n",
    "    def backward(self, dhs):\n",
    "        Wx, Wh, b = self.params\n",
    "        N, T, H = dhs.shape\n",
    "        D, H = Wx.shape\n",
    "\n",
    "        dxs = np.empty((N, T, D), dtype='f')\n",
    "        dh = 0\n",
    "        grads = [0, 0, 0]\n",
    "        for t in reversed(range(T)):\n",
    "            layer = self.layers[t]\n",
    "            dx, dh = layer.backward(dhs[:, t, :] + dh)\n",
    "            dxs[:, t, :] = dx\n",
    "\n",
    "            for i, grad in enumerate(layer.grads):\n",
    "                grads[i] += grad\n",
    "\n",
    "        for i, grad in enumerate(grads):\n",
    "            self.grads[i][...] = grad\n",
    "        self.dh = dh\n",
    "\n",
    "        return dxs"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Truncated BPTT 구현\n",
    "위에서는 하나의 Layer를 통하여 Truncated BPTT를 어떻게 구성할지에 대해서 알아보았다.  \n",
    "이제 실질적으로 위에서 선언한 Layer를 활용하여 어떻게 Train을 하고 Loss를 구하여 Weight를 Update시킬지 알아보자.  \n",
    "최종적으로 구현하고자 하는 신경망은 아래 그림과 같다.  \n",
    "<div><img src=\"https://raw.githubusercontent.com/wjddyd66/wjddyd66.github.io/master/static/img/AI/99.PNG\" height=\"250\" width=\"600\" /></div>\n",
    "<br>\n",
    "\n",
    "위에서 구현한 Layer에 들어가기전 Input을 이전 Post에서 다루었던 **Embedding 계층**을 통하여 단어 분산 표현으로서 나타낸다.  \n",
    "\n",
    "**Embedding 계층**을 거친 Input은 Layer를 통하여 최종적인 Softmax계층을 통하여 어떤 Output을 뽑아낼지 결정하게 된다.  \n",
    "위와같은 RNN의 구조는 CBOW로서는 할 수 없었던 과거에서 현재로 데이터를 계속 흘려보내줌으로써 과거의 정보를 인코딩해 저장할 수 있게 된다.  \n",
    "\n",
    "최종적인 Loss를 구할시에도 위에서 구한 Loss를 사용하기에는 무리가 있다.  \n",
    "결국에 T개의 RNN Layer를 합하여 하나의 새로운 Layer를 구성하였으므로 최종적인 Layer는 일반 ANN에서의 Loss와 마찬가지로 아래 식으로서 표현할 수 있다.  \n",
    "<p>$$L = \\frac{1}{T}(L_0 + L_1 + ... + L_{T-1})$$</p>\n",
    "최종적인 Layer를 다음 코드와 같다.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# coding: utf-8\n",
    "import sys\n",
    "sys.path.append('..')\n",
    "import numpy as np\n",
    "from common.time_layers import *\n",
    "\n",
    "\n",
    "class SimpleRnnlm:\n",
    "    def __init__(self, vocab_size, wordvec_size, hidden_size):\n",
    "        V, D, H = vocab_size, wordvec_size, hidden_size\n",
    "        rn = np.random.randn\n",
    "\n",
    "        # 가중치 초기화\n",
    "        embed_W = (rn(V, D) / 100).astype('f')\n",
    "        rnn_Wx = (rn(D, H) / np.sqrt(D)).astype('f')\n",
    "        rnn_Wh = (rn(H, H) / np.sqrt(H)).astype('f')\n",
    "        rnn_b = np.zeros(H).astype('f')\n",
    "        affine_W = (rn(H, V) / np.sqrt(H)).astype('f')\n",
    "        affine_b = np.zeros(V).astype('f')\n",
    "\n",
    "        # 계층 생성\n",
    "        self.layers = [\n",
    "            TimeEmbedding(embed_W),\n",
    "            TimeRNN(rnn_Wx, rnn_Wh, rnn_b, stateful=True),\n",
    "            TimeAffine(affine_W, affine_b)\n",
    "        ]\n",
    "        self.loss_layer = TimeSoftmaxWithLoss()\n",
    "        self.rnn_layer = self.layers[1]\n",
    "\n",
    "        # 모든 가중치와 기울기를 리스트에 모은다.\n",
    "        self.params, self.grads = [], []\n",
    "        for layer in self.layers:\n",
    "            self.params += layer.params\n",
    "            self.grads += layer.grads\n",
    "\n",
    "    def forward(self, xs, ts):\n",
    "        for layer in self.layers:\n",
    "            xs = layer.forward(xs)\n",
    "        loss = self.loss_layer.forward(xs, ts)\n",
    "        return loss\n",
    "\n",
    "    def backward(self, dout=1):\n",
    "        dout = self.loss_layer.backward(dout)\n",
    "        for layer in reversed(self.layers):\n",
    "            dout = layer.backward(dout)\n",
    "        return dout\n",
    "\n",
    "    def reset_state(self):\n",
    "        self.rnn_layer.reset_state()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "위에서의 Code에서 가중치의 초기화는 Activation Function이 tanh이므로 **Xavier 초기값**을 사용하였다.  \n",
    "<a href=\"https://wjddyd66.github.io/dl/2019/08/31/NeuralNetwork-(5)-Others.html\">Xavier 자세한 내용</a><br>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 언어 Model 평가 방법\n",
    "대표적인 언어 Model의 평가 방법은 Perplexity(퍼플렉시티, PPL)이 있다.  \n",
    "PPL은 정량 평가 방법의 하나로서 언어모델 상에서 테스트 문장들의 점수를 구하고, 이를 기반으로 언어모델의 성늘을 측정한다.  \n",
    "PPL은 문장의 확률에 길이에 대해서 normalization한 값이라고 볼 수 있다.  \n",
    "PPL은 아래와 같은 식으로서 정리된다.  \n",
    "<p>$PPL(w_1, w_2, ..., w_n) = P(w_1, w_2, ..., w_n)^{-\\frac{1}{n}}$</p>\n",
    "<p>$= \\sqrt[n] {\\frac{1}{P(w_1, w_2, ..., w_n)}}$</p>\n",
    "위의 식을 위에서 정리한 **CBOW Model이 n개의 window size가 적용**한다면 아래 식으로서 표현할 수 있다.\n",
    "<p>$\\approx \\sqrt[n] {\\frac{1}{\\prod_{i=1}^n P(w_i|w_{i-n+1}, ..., w_{i-1})}}$</p>\n",
    "위와 같은 **PPL**은 아래와 같은 예시로서 의미를 파악할 수 있다.  \n",
    "만약 Text = you say goodbye and i say hello를 corpus를 생각한다면  \n",
    "you를 넣었을때 say가 나올 확률이 각각 0.2, 0.8이라고 가정하자  \n",
    "<p>$PPL(0.2) =\\frac{1}{0.2} = 5$</p>\n",
    "<p>$PPL(0.8) =\\frac{1}{0.8} = 1.25$</p>\n",
    "즉 PPL의 값은 낮을수록 좋은 Model이라는 것을 알 수 있고 **PPL의 값은 뻗어나갈 수 있는 branch의 숫자를 의미한 다는 것을 알 수 있다.**  \n",
    "\n",
    "**우리의 최종적인 목표는 Loss Function을 설정하여 Weight를 Update를 시키는 것 이다.**  \n",
    "Weight를 Update시키기 위하여 **언어 Model에서 Cross Entropy와 PPL의 관계**를 살펴보자.  \n",
    "\n",
    "언어모델의 분포 <span>$P(x)$ </span> 또는 출현 가능한 문장들의 집합 <span>$W$ </span> 에서 길이 n의 문장 <span>$w_{1:n}$ </span>을 샘플링 하였을 때, 우리의 언어모델 분포 <span>$P_\\theta(x)$ </span>의 엔트로피를 나타내면 아래와 같습니다.\n",
    "<p>$H_n(P,P_\\theta) = -\\sum_{w_{1:n} \\in W} P(w_{1:n})logP(w_{1:n}) ...(1)$</p>\n",
    "<p>$\\approx -\\frac{1}{k}\\sum_{i=1}^{k}logP_\\theta(w^{i}_{1:n}) ...(2)$</p>\n",
    "<p>$\\approx -logP_\\theta(w_{1:n})$</p>\n",
    "<p>$= -\\sum_{i=1}^{n}logP_\\theta(w_i|w_{ < i }) ...(3)$</p>\n",
    "<p>$\\approx -\\frac{1}{n}\\sim_{w_{1:n} \\in W}\\sum_{i=1}P(w_i|w_{ < i })logP_\\theta(w_i|w_{ < i }) ...(4)$</p>\n",
    "<p>$\\approx -\\frac{1}{n}\\sum_{i=1}^n logP(w_i|w_{ < i })$</p>\n",
    "<p>$= -\\frac{1}{n}log \\prod_{i=1}^n P_\\theta(w_i|w_{ < i })$</p>\n",
    "<p>$=\\sqrt[-\\frac{1}{n}]{log(\\prod_{i=1}^n P_\\theta(w_i|w_{ < i }))}$</p>\n",
    "<p>$=\\sqrt[n]{log(\\frac{1}{\\prod_{i=1}^n P_\\theta(w_i|w_{ < i })})}$</p>\n",
    "위와 같은 식을 아래 PPL식과 비료하여서 살펴보게 되면  \n",
    "<p>$PPL(w_{1:n}) =  \\sqrt[n] {\\frac{1}{\\prod_{i=1}^n P(w_i|w_{i-n+1}, ..., w_{i-1})}}$</p>\n",
    "최종적인 식으로서 아래식을 얻을 수 있다.  \n",
    "\n",
    "<p>PPL = exp(CrossEntropy)</p>\n",
    "(1)식에서 (2)식, (3)식에서 (4)식으로 넘어갈때 몬테카를로 샘플링을 통하여 근사화한 값으로 표현한 것이다.  \n",
    "몬테카를로 샘플링이란 아래 식을 의미한다.  \n",
    "<p>$\\int f(x)p(x), dx \\approx \\sum_{i=1}^{N}\\frac{f(X_i)}{N}$</p>\n",
    "위의 식에서 각각의 Parameter는 다음과 같다.  \n",
    "- <span>$f(x)$</span>: 함수\n",
    "-  <span>$p(x)$</span>: 확률분포\n",
    "-  <span>$N$</span>: 함수: 표본의 개수\n",
    "-  <span>$X_i$</span>: i번째 표본값\n",
    "\n",
    "즉 위의 식의 의미는 **표본은 확률분포를 반영하므로, 전체 표본에서 각 상태의 출연 횟수는 자신의 확률분포 값에 비례하게 된다. 즉, <span>$X_i$</span>가 표본이기 때문에, 샘플이기 때문에 <span>$p(x)$</span>를 곱한 효과를 낼 수 있다.**  \n",
    "몬테카를로에 대한 자세한 내용은 아래 참고  \n",
    "<a href=\"http://www.secmem.org/blog/2019/01/11/mcmc/\">몬테카를로 자세한 내용</a><br>\n",
    "\n",
    "위와같은 과정을 Code로서 Trainner를 구성하면 아래와 같다.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "class RnnlmTrainer:\n",
    "    def __init__(self, model, optimizer):\n",
    "        self.model = model\n",
    "        self.optimizer = optimizer\n",
    "        self.time_idx = None\n",
    "        self.ppl_list = None\n",
    "        self.eval_interval = None\n",
    "        self.current_epoch = 0\n",
    "\n",
    "    def get_batch(self, x, t, batch_size, time_size):\n",
    "        batch_x = np.empty((batch_size, time_size), dtype='i')\n",
    "        batch_t = np.empty((batch_size, time_size), dtype='i')\n",
    "\n",
    "        data_size = len(x)\n",
    "        jump = data_size // batch_size\n",
    "        offsets = [i * jump for i in range(batch_size)]  # 배치에서 각 샘플을 읽기 시작하는 위치\n",
    "\n",
    "        for time in range(time_size):\n",
    "            for i, offset in enumerate(offsets):\n",
    "                batch_x[i, time] = x[(offset + self.time_idx) % data_size]\n",
    "                batch_t[i, time] = t[(offset + self.time_idx) % data_size]\n",
    "            self.time_idx += 1\n",
    "        return batch_x, batch_t\n",
    "\n",
    "    def fit(self, xs, ts, max_epoch=10, batch_size=20, time_size=35,\n",
    "            max_grad=None, eval_interval=20):\n",
    "        data_size = len(xs)\n",
    "        max_iters = data_size // (batch_size * time_size)\n",
    "        self.time_idx = 0\n",
    "        self.ppl_list = []\n",
    "        self.eval_interval = eval_interval\n",
    "        model, optimizer = self.model, self.optimizer\n",
    "        total_loss = 0\n",
    "        loss_count = 0\n",
    "\n",
    "        start_time = time.time()\n",
    "        for epoch in range(max_epoch):\n",
    "            for iters in range(max_iters):\n",
    "                batch_x, batch_t = self.get_batch(xs, ts, batch_size, time_size)\n",
    "\n",
    "                # 기울기를 구해 매개변수 갱신\n",
    "                loss = model.forward(batch_x, batch_t)\n",
    "                model.backward()\n",
    "                params, grads = remove_duplicate(model.params, model.grads)  # 공유된 가중치를 하나로 모음\n",
    "                if max_grad is not None:\n",
    "                    clip_grads(grads, max_grad)\n",
    "                optimizer.update(params, grads)\n",
    "                total_loss += loss\n",
    "                loss_count += 1\n",
    "\n",
    "                # 퍼플렉서티 평가\n",
    "                if (eval_interval is not None) and (iters % eval_interval) == 0:\n",
    "                    ppl = np.exp(total_loss / loss_count)\n",
    "                    elapsed_time = time.time() - start_time\n",
    "                    print('| 에폭 %d |  반복 %d / %d | 시간 %d[s] | 퍼플렉서티 %.2f'\n",
    "                          % (self.current_epoch + 1, iters + 1, max_iters, elapsed_time, ppl))\n",
    "                    self.ppl_list.append(float(ppl))\n",
    "                    total_loss, loss_count = 0, 0\n",
    "\n",
    "            self.current_epoch += 1\n",
    "\n",
    "    def plot(self, ylim=None):\n",
    "        x = numpy.arange(len(self.ppl_list))\n",
    "        if ylim is not None:\n",
    "            plt.ylim(*ylim)\n",
    "        plt.plot(x, self.ppl_list, label='train')\n",
    "        plt.xlabel('반복 (x' + str(self.eval_interval) + ')')\n",
    "        plt.ylabel('퍼플렉서티')\n",
    "        plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 최종 Layer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "class SimpleRnnlm:\n",
    "    def __init__(self, vocab_size, wordvec_size, hidden_size):\n",
    "        V, D, H = vocab_size, wordvec_size, hidden_size\n",
    "        rn = np.random.randn\n",
    "\n",
    "        # 가중치 초기화\n",
    "        embed_W = (rn(V, D) / 100).astype('f')\n",
    "        rnn_Wx = (rn(D, H) / np.sqrt(D)).astype('f')\n",
    "        rnn_Wh = (rn(H, H) / np.sqrt(H)).astype('f')\n",
    "        rnn_b = np.zeros(H).astype('f')\n",
    "        affine_W = (rn(H, V) / np.sqrt(H)).astype('f')\n",
    "        affine_b = np.zeros(V).astype('f')\n",
    "\n",
    "        # 계층 생성\n",
    "        self.layers = [\n",
    "            TimeEmbedding(embed_W),\n",
    "            TimeRNN(rnn_Wx, rnn_Wh, rnn_b, stateful=True),\n",
    "            TimeAffine(affine_W, affine_b)\n",
    "        ]\n",
    "        self.loss_layer = TimeSoftmaxWithLoss()\n",
    "        self.rnn_layer = self.layers[1]\n",
    "\n",
    "        # 모든 가중치와 기울기를 리스트에 모은다.\n",
    "        self.params, self.grads = [], []\n",
    "        for layer in self.layers:\n",
    "            self.params += layer.params\n",
    "            self.grads += layer.grads\n",
    "\n",
    "    def forward(self, xs, ts):\n",
    "        for layer in self.layers:\n",
    "            xs = layer.forward(xs)\n",
    "        loss = self.loss_layer.forward(xs, ts)\n",
    "        return loss\n",
    "\n",
    "    def backward(self, dout=1):\n",
    "        dout = self.loss_layer.backward(dout)\n",
    "        for layer in reversed(self.layers):\n",
    "            dout = layer.backward(dout)\n",
    "        return dout\n",
    "\n",
    "    def reset_state(self):\n",
    "        self.rnn_layer.reset_state()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Model Train 및 평가"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "| 에폭 1 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 417.99\n",
      "| 에폭 2 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 373.80\n",
      "| 에폭 3 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 262.75\n",
      "| 에폭 4 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 225.01\n",
      "| 에폭 5 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 211.69\n",
      "| 에폭 6 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 209.05\n",
      "| 에폭 7 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 201.05\n",
      "| 에폭 8 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 199.89\n",
      "| 에폭 9 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 195.55\n",
      "| 에폭 10 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 190.31\n",
      "| 에폭 11 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 192.30\n",
      "| 에폭 12 |  반복 1 / 19 | 시간 0[s] | 퍼플렉서티 188.82\n",
      "| 에폭 13 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 192.03\n",
      "| 에폭 14 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 187.12\n",
      "| 에폭 15 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 185.95\n",
      "| 에폭 16 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 189.00\n",
      "| 에폭 17 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 188.21\n",
      "| 에폭 18 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 183.66\n",
      "| 에폭 19 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 180.69\n",
      "| 에폭 20 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 179.86\n",
      "| 에폭 21 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 178.28\n",
      "| 에폭 22 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 178.36\n",
      "| 에폭 23 |  반복 1 / 19 | 시간 1[s] | 퍼플렉서티 179.31\n",
      "| 에폭 24 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 177.04\n",
      "| 에폭 25 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 170.57\n",
      "| 에폭 26 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 173.14\n",
      "| 에폭 27 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 170.90\n",
      "| 에폭 28 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 169.21\n",
      "| 에폭 29 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 166.70\n",
      "| 에폭 30 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 161.87\n",
      "| 에폭 31 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 156.88\n",
      "| 에폭 32 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 156.89\n",
      "| 에폭 33 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 154.89\n",
      "| 에폭 34 |  반복 1 / 19 | 시간 2[s] | 퍼플렉서티 153.37\n",
      "| 에폭 35 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 146.32\n",
      "| 에폭 36 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 144.11\n",
      "| 에폭 37 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 144.87\n",
      "| 에폭 38 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 135.75\n",
      "| 에폭 39 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 132.17\n",
      "| 에폭 40 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 127.78\n",
      "| 에폭 41 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 121.08\n",
      "| 에폭 42 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 120.31\n",
      "| 에폭 43 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 114.91\n",
      "| 에폭 44 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 111.50\n",
      "| 에폭 45 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 104.54\n",
      "| 에폭 46 |  반복 1 / 19 | 시간 3[s] | 퍼플렉서티 99.87\n",
      "| 에폭 47 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 98.17\n",
      "| 에폭 48 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 93.83\n",
      "| 에폭 49 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 90.90\n",
      "| 에폭 50 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 83.30\n",
      "| 에폭 51 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 82.01\n",
      "| 에폭 52 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 77.72\n",
      "| 에폭 53 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 73.45\n",
      "| 에폭 54 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 71.10\n",
      "| 에폭 55 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 67.02\n",
      "| 에폭 56 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 63.66\n",
      "| 에폭 57 |  반복 1 / 19 | 시간 4[s] | 퍼플렉서티 60.57\n",
      "| 에폭 58 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 57.10\n",
      "| 에폭 59 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 54.89\n",
      "| 에폭 60 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 52.58\n",
      "| 에폭 61 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 48.00\n",
      "| 에폭 62 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 45.34\n",
      "| 에폭 63 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 43.86\n",
      "| 에폭 64 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 41.68\n",
      "| 에폭 65 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 38.14\n",
      "| 에폭 66 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 37.04\n",
      "| 에폭 67 |  반복 1 / 19 | 시간 5[s] | 퍼플렉서티 34.44\n",
      "| 에폭 68 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 33.33\n",
      "| 에폭 69 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 32.03\n",
      "| 에폭 70 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 28.99\n",
      "| 에폭 71 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 27.40\n",
      "| 에폭 72 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 25.99\n",
      "| 에폭 73 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 24.69\n",
      "| 에폭 74 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 23.12\n",
      "| 에폭 75 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 21.78\n",
      "| 에폭 76 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 20.81\n",
      "| 에폭 77 |  반복 1 / 19 | 시간 6[s] | 퍼플렉서티 19.76\n",
      "| 에폭 78 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 18.59\n",
      "| 에폭 79 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 17.39\n",
      "| 에폭 80 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 16.36\n",
      "| 에폭 81 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 15.11\n",
      "| 에폭 82 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 14.31\n",
      "| 에폭 83 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 14.37\n",
      "| 에폭 84 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 13.40\n",
      "| 에폭 85 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 11.85\n",
      "| 에폭 86 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 11.73\n",
      "| 에폭 87 |  반복 1 / 19 | 시간 7[s] | 퍼플렉서티 11.64\n",
      "| 에폭 88 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 10.90\n",
      "| 에폭 89 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 10.66\n",
      "| 에폭 90 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 10.23\n",
      "| 에폭 91 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 9.26\n",
      "| 에폭 92 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 8.98\n",
      "| 에폭 93 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 8.98\n",
      "| 에폭 94 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 8.56\n",
      "| 에폭 95 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 7.96\n",
      "| 에폭 96 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 7.35\n",
      "| 에폭 97 |  반복 1 / 19 | 시간 8[s] | 퍼플렉서티 7.35\n",
      "| 에폭 98 |  반복 1 / 19 | 시간 9[s] | 퍼플렉서티 6.75\n",
      "| 에폭 99 |  반복 1 / 19 | 시간 9[s] | 퍼플렉서티 7.02\n",
      "| 에폭 100 |  반복 1 / 19 | 시간 9[s] | 퍼플렉서티 6.44\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# coding: utf-8\n",
    "from common.optimizer import SGD\n",
    "from common.trainer import RnnlmTrainer\n",
    "from dataset import ptb\n",
    "from simple_rnnlm import SimpleRnnlm\n",
    "\n",
    "\n",
    "# 하이퍼파라미터 설정\n",
    "batch_size = 10\n",
    "wordvec_size = 100\n",
    "hidden_size = 100  # RNN의 은닉 상태 벡터의 원소 수\n",
    "time_size = 5  # RNN을 펼치는 크기\n",
    "lr = 0.1\n",
    "max_epoch = 100\n",
    "\n",
    "# 학습 데이터 읽기\n",
    "corpus, word_to_id, id_to_word = ptb.load_data('train')\n",
    "corpus_size = 1000  # 테스트 데이터셋을 작게 설정\n",
    "corpus = corpus[:corpus_size]\n",
    "vocab_size = int(max(corpus) + 1)\n",
    "xs = corpus[:-1]  # 입력\n",
    "ts = corpus[1:]  # 출력（정답 레이블）\n",
    "\n",
    "# 모델 생성\n",
    "model = SimpleRnnlm(vocab_size, wordvec_size, hidden_size)\n",
    "optimizer = SGD(lr)\n",
    "trainer = RnnlmTrainer(model, optimizer)\n",
    "\n",
    "trainer.fit(xs, ts, max_epoch, batch_size, time_size)\n",
    "trainer.plot()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}