site/ko/tutorials/eager/automatic_differentiation.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "t09eeeR5prIJ"
   },
   "source": [
    "##### Copyright 2018 The TensorFlow Authors."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "cellView": "form",
    "colab": {},
    "colab_type": "code",
    "id": "GCCk8_dHpuNf"
   },
   "outputs": [],
   "source": [
    "#@title Licensed under the Apache License, Version 2.0 (the \"License\");\n",
    "# you may not use this file except in compliance with the License.\n",
    "# You may obtain a copy of the License at\n",
    "#\n",
    "# https://www.apache.org/licenses/LICENSE-2.0\n",
    "#\n",
    "# Unless required by applicable law or agreed to in writing, software\n",
    "# distributed under the License is distributed on an \"AS IS\" BASIS,\n",
    "# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\n",
    "# See the License for the specific language governing permissions and\n",
    "# limitations under the License."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "xh8WkEwWpnm7"
   },
   "source": [
    "# 자동미분(Automatic Differentiation)과 그래디언트 테이프(Gradient Tape)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "idv0bPeCp325"
   },
   "source": [
    "<table class=\"tfo-notebook-buttons\" align=\"left\">\n",
    "  <td>\n",
    "    <a target=\"_blank\" href=\"https://www.tensorflow.org/tutorials/eager/automatic_differentiation\"><img src=\"https://www.tensorflow.org/images/tf_logo_32px.png\" />View on TensorFlow.org</a>\n",
    "  </td>\n",
    "  <td>\n",
    "    <a target=\"_blank\" href=\"https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/eager/automatic_differentiation.ipynb\"><img src=\"https://www.tensorflow.org/images/colab_logo_32px.png\" />Run in Google Colab</a>\n",
    "  </td>\n",
    "  <td>\n",
    "    <a target=\"_blank\" href=\"https://github.com/tensorflow/docs/blob/master/site/en/tutorials/eager/automatic_differentiation.ipynb\"><img src=\"https://www.tensorflow.org/images/GitHub-Mark-32px.png\" />View source on GitHub</a>\n",
    "  </td>\n",
    "</table>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "vDJ4XzMqodTy"
   },
   "source": [
    "이전 튜토리얼에서 우리는 텐서(tensor)와 텐서의 연산들에 대해서 알아보았습니다. 이번 튜토리얼에서는 머신러닝 모델을 최적화할 수 있는 주요 기술 중 하나인 [자동미분(automatic differentiation)](https://en.wikipedia.org/wiki/Automatic_differentiation)에 대해 알아보겠습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "GQJysDM__Qb0"
   },
   "source": [
    "## 설정\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "OiMPZStlibBv"
   },
   "outputs": [],
   "source": [
    "import tensorflow as tf\n",
    "\n",
    "tf.enable_eager_execution()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "1CLWJl0QliB0"
   },
   "source": [
    "## 그래디언트 테이프(Gradient Tape)\n",
    "\n",
    "텐서플로는 자동미분(주어진 입력 변수에 따른 그래디언트 연산)을 위한 [tf.GradientTape](https://www.tensorflow.org/api_docs/python/tf/GradientTape) API를 제공합니다. `tf.GradientTape`는 안에서 실행된 모든 연산을 tape에 \"기록\"합니다. 그리고 [역방향 미분(reverse mode differentiation)](https://en.wikipedia.org/wiki/Automatic_differentiation)을 사용하여 각각의 기록된 연산들과 관련된 테이프와 그래디언트들을 사용하여 기록된 연산의 그래디언트를 계산합니다. \n",
    "\n",
    "예를 들면:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "bAFeIE8EuVIq"
   },
   "outputs": [],
   "source": [
    "x = tf.ones((2, 2))\n",
    "  \n",
    "with tf.GradientTape() as t:\n",
    "  t.watch(x)\n",
    "  y = tf.reduce_sum(x)\n",
    "  z = tf.multiply(y, y)\n",
    "\n",
    "# 입력 tensor x에 관한 z의 도함수\n",
    "dz_dx = t.gradient(z, x)\n",
    "for i in [0, 1]:\n",
    "  for j in [0, 1]:\n",
    "    assert dz_dx[i][j].numpy() == 8.0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "N4VlqKFzzGaC"
   },
   "source": [
    "또한 `tf.GradientTape` 컨텍스트에 기록되는 동안 계산된 중간 출력값의 그래디언트를 계산할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "7XaPRAwUyYms"
   },
   "outputs": [],
   "source": [
    "x = tf.ones((2, 2))\n",
    "  \n",
    "with tf.GradientTape() as t:\n",
    "  t.watch(x)\n",
    "  y = tf.reduce_sum(x)\n",
    "  z = tf.multiply(y, y)\n",
    "\n",
    "# 중간값 y에 관한 z의 도함수 계산을 위한 테이프 사용\n",
    "dz_dy = t.gradient(z, y)\n",
    "assert dz_dy.numpy() == 8.0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "ISkXuY7YzIcS"
   },
   "source": [
    "초기값으로 GradientTape.gradient() 메서드가 호출되면 GradientTape에 포함된 리소스가 해체되게 설정돼있습니다. 동일한 연산을 통해서 여러 그래디언트를 계산하려면, `지속성있는(persistent)` 그래디언트 테이프를 생성하면 됩니다. `persistent`는 `gradient()` 메서드의 다중 호출을 허용합니다. 테이프 객체가 쓰레기 수집(garbage collection)될때 리소스는 해체됩니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "zZaCm3-9zVCi"
   },
   "outputs": [],
   "source": [
    "x = tf.constant(3.0)\n",
    "with tf.GradientTape(persistent=True) as t:\n",
    "  t.watch(x)\n",
    "  y = x * x\n",
    "  z = y * y\n",
    "dz_dx = t.gradient(z, x)  # 108.0 (4*x^3 at x = 3)\n",
    "dy_dx = t.gradient(y, x)  # 6.0\n",
    "del t  # 리소스가 해체됩니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "6kADybtQzYj4"
   },
   "source": [
    "### 제어흐름(Control Flow) 기록\n",
    "\n",
    "테이프를 실행하는 순간부터 연산을 기록하기 때문에, 파이썬 제어흐름(예를 들어 `if` `while`, `for`문 같은)은 자연스럽게 처리됩니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "9FViq92UX7P8"
   },
   "outputs": [],
   "source": [
    "def f(x, y):\n",
    "  output = 1.0\n",
    "  for i in range(y):\n",
    "    if i > 1 and i < 5:\n",
    "      output = tf.multiply(output, x)\n",
    "  return output\n",
    "\n",
    "def grad(x, y):\n",
    "  with tf.GradientTape() as t:\n",
    "    t.watch(x)\n",
    "    out = f(x, y)\n",
    "  return t.gradient(out, x) \n",
    "\n",
    "x = tf.convert_to_tensor(2.0)\n",
    "\n",
    "assert grad(x, 6).numpy() == 12.0\n",
    "assert grad(x, 5).numpy() == 12.0\n",
    "assert grad(x, 4).numpy() == 4.0\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "DK05KXrAAld3"
   },
   "source": [
    "### 고차원(Higher-order) 그래디언트\n",
    "\n",
    "`GradientTape` 컨텍스트 매니저안에 있는 연산들은 자동미분을 위해 기록됩니다. 만약 그래디언트가 컨텍스트 안에서 연산되면 그래디언트 연산 또한 기록되어집니다. 그 결과 똑같은 API가 고차원 그래디언트에서도 잘 작동합니다. 예를 들면:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "cPQgthZ7ugRJ"
   },
   "outputs": [],
   "source": [
    "x = tf.Variable(1.0)  # 1.0으로 초기화된 텐서플로 변수 생성\n",
    "\n",
    "with tf.GradientTape() as t:\n",
    "  with tf.GradientTape() as t2:\n",
    "    y = x * x * x\n",
    "  # t 컨텍스트 매니저 안의 그래디언트 연산\n",
    "  # 이것은 또한 그래디언트 계산이 미분가능하다는것을 의미합니다. \n",
    "  dy_dx = t2.gradient(y, x)\n",
    "d2y_dx2 = t.gradient(dy_dx, x)\n",
    "\n",
    "assert dy_dx.numpy() == 3.0\n",
    "assert d2y_dx2.numpy() == 6.0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "4U1KKzUpNl58"
   },
   "source": [
    "## 다음 단계\n",
    "\n",
    "이번 튜토리얼에서는 텐서플로에서 그래디언트 계산법을 배웠습니다. 이를 통해 우리는 신경망(neural network)을 구축하고 훈련시키는 데 필요한 기본 요소를 충분히 확보할 수 있습니다."
   ]
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "automatic_differentiation.ipynb",
   "private_outputs": true,
   "provenance": [],
   "toc_visible": true,
   "version": "0.3.2"
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}