2_Using_Pipemode_input_for_big_datasets.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# [Module 3] Training with Pipe Mode using PipeModeDataset\n",
    "\n",
    "Amazon SageMaker를 사용하면 Pipe 입력 모드를 사용하여 교육 작업을 생성할 수 있습니다. **Pipe 입력 모드를 사용하면 S3의 학습 데이터셋을 노트북 인스턴스의 로컬 디스크로 다운로드하는 대신 학습 인스턴스로 직접 스트리밍합니다.** 즉, 학습 작업이 더 빨리 시작되고 더 빨리 완료되며 더 적은 디스크 공간이 필요합니다.\n",
    "\n",
    "SageMaker TensorFlow는 SageMaker에서 Pipe 입력 모드를 쉽게 활용할 수있는 `tf.data.Dataset`의 구현을 제공합니다. `tf.data.Dataset`을`sagemaker_tensorflow.PipeModeDataset`으로 바꾸면 학습 인스턴스로 스트리밍되는 TFRecord를 읽을 수 있습니다.\n",
    "\n",
    "여러분의 entry_point 스크립트에서 `PipeModeDataset`을 `Dataset`처럼 사용할 수 있습니다. 아래 예시는 '학습' 채널에서 TFRecords를 읽을 수있는`PipeModeDataset`을 생성하는 예시입니다.\n",
    "\n",
    "```python\n",
    "from sagemaker_tensorflow import PipeModeDataset\n",
    "\n",
    "features = {\n",
    "    'data': tf.FixedLenFeature([], tf.string),\n",
    "    'labels': tf.FixedLenFeature([], tf.int64),\n",
    "}\n",
    "\n",
    "def parse(record):\n",
    "    parsed = tf.parse_single_example(record, features)\n",
    "    return ({\n",
    "        'data': tf.decode_raw(parsed['data'], tf.float64)\n",
    "    }, parsed['labels'])\n",
    "\n",
    "def train_input_fn(training_dir, hyperparameters):\n",
    "    ds = PipeModeDataset(channel='training', record_format='TFRecord')\n",
    "    ds = ds.repeat(20)\n",
    "    ds = ds.prefetch(10)\n",
    "    ds = ds.map(parse, num_parallel_calls=10)\n",
    "    ds = ds.batch(64)\n",
    "    return ds\n",
    "```\n",
    "\n",
    "Pipe 입력 모드에서 학습 작업을 구동하려면, 아래 예시처럼 여러분의 TensorFlow Estimator에서 `input_mode='Pipe'` 인자를 추가해 주세요.\n",
    "\n",
    "```python\n",
    "from sagemaker.tensorflow import TensorFlow\n",
    "\n",
    "tf_estimator = TensorFlow(entry_point='tf-train-with-pipemodedataset.py', role='SageMakerRole',\n",
    "                          train_instance_count=1, train_instance_type='ml.c5.2xlarge',\n",
    "                          framework_version='1.14.0', input_mode='Pipe')\n",
    "\n",
    "tf_estimator.fit('s3://bucket/path/to/training/data')\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Create a training script that support pipemode datasets\n",
    "**`training_script/cifar10_keras_sm.py`에서 스크립트 사본을 만들어 `training_script/cifar10_keras_pipe.py`로 저장하세요.**\n",
    "\n",
    "스크립트 사본을 생성하였다면 단계별로 아래의 작업들을 직접 시도합니다.\n",
    "\n",
    "----\n",
    "### TODO 1.\n",
    "`cifar10_keras_pipe.py`에서 아래와 같이 `PipeModeDataset`를 import해 주세요.\n",
    "```python\n",
    "from sagemaker_tensorflow import PipeModeDataset\n",
    "```\n",
    "----\n",
    "### TODO 2.\n",
    "```python\n",
    "def _input(epochs, batch_size, channel, channel_name):\n",
    "```\n",
    "함수 내에서\n",
    "```python\n",
    "dataset = tf.data.TFRecordDataset(filenames)\n",
    "```\n",
    "을\n",
    "```python\n",
    "dataset = PipeModeDataset(channel=channel_name, record_format='TFRecord')\n",
    "```\n",
    "로 수정해 주세요.\n",
    "\n",
    "자세한 내용은 SageMaker-python-sdk [documentation](https://sagemaker.readthedocs.io/en/stable/using_tf.html#training-with-pipe-mode-using-pipemodedataset)를 참조해 주세요.\n",
    "\n",
    "<font color='blue'>**본 노트북 실습에 어려움이 있다면 솔루션 파일 `training_script/cifar10_keras_pipe_solution.py`을 참조하시면 됩니다.**</font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import sagemaker\n",
    "from sagemaker import get_execution_role\n",
    "\n",
    "sagemaker_session = sagemaker.Session()\n",
    "\n",
    "role = get_execution_role()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "prefix = 'data/DEMO-cifar10'\n",
    "dataset_location = os.path.join('s3://', sagemaker_session.default_bucket(), prefix)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`input_mode='Pipe'`로 Pipe Mode를 활성화한 후에 10 epoch를 학습해 보세요.\n",
    "모든 작업에 metric_definitions 인수를 추가해야 합니다.<br>\n",
    "또한, AWS 콘솔 가시성을 위해 `base_job_name`을 `'cifar10-pipe'`로 설정해 주세요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "metric_definitions = [\n",
    "    {'Name': 'train:loss', 'Regex': 'loss: (.*?) '},\n",
    "    {'Name': 'train:accuracy', 'Regex': 'acc: (.*?) '},\n",
    "    {'Name': 'validation:loss', 'Regex': 'val_loss: (.*?) '},\n",
    "    {'Name': 'validation:accuracy', 'Regex': 'val_acc: (.*?) '}\n",
    "]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sagemaker.tensorflow import TensorFlow\n",
    "estimator = TensorFlow(base_job_name='cifar10-pipe',\n",
    "                       entry_point='cifar10_keras_pipe.py',\n",
    "                       source_dir='training_script',\n",
    "                       role=role,\n",
    "                       framework_version='1.14.0',\n",
    "                       py_version='py3',\n",
    "                       script_mode=True,                       \n",
    "                       hyperparameters={'epochs': 5},\n",
    "                       train_instance_count=1,\n",
    "                       train_instance_type='ml.p2.xlarge', \n",
    "                       metric_definitions=metric_definitions, # 1_Monitoring_your_TensorFlow_scripts.ipynb 참조                       \n",
    "                       input_mode='Pipe' # 추가\n",
    "                      )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%%time\n",
    "estimator.fit({'train':'{}/train'.format(dataset_location),\n",
    "              'validation':'{}/validation'.format(dataset_location),\n",
    "              'eval':'{}/eval'.format(dataset_location)})"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**잘 하셨습니다.** \n",
    "\n",
    "본 실습에서 `PipeModeDataset`을 정의해 학습해 보았습니다. 큰 데이터셋에서 Pipe 모드를 사용하면 학습 시간이 감소하고 노트북 인스턴스의 로컬 디스크 공간도 절약할 수 있습니다. <br>\n",
    "다음 노트북으로 계속 진행하기 전에 CloudWatch 및 TensorBoard의 Pipe 모드 작업 지표를 살펴보세요."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "conda_tensorflow_p36",
   "language": "python",
   "name": "conda_tensorflow_p36"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}