site/ja/guide/migrate/multi_worker_cpu_gpu_training.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "wJcYs_ERTnnI"
      },
      "source": [
        "##### Copyright 2021 The TensorFlow Authors."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "cellView": "form",
        "id": "HMUDt0CiUJk9"
      },
      "outputs": [],
      "source": [
        "#@title Licensed under the Apache License, Version 2.0 (the \"License\");\n",
        "# you may not use this file except in compliance with the License.\n",
        "# You may obtain a copy of the License at\n",
        "#\n",
        "# https://www.apache.org/licenses/LICENSE-2.0\n",
        "#\n",
        "# Unless required by applicable law or agreed to in writing, software\n",
        "# distributed under the License is distributed on an \"AS IS\" BASIS,\n",
        "# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\n",
        "# See the License for the specific language governing permissions and\n",
        "# limitations under the License."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "77z2OchJTk0l"
      },
      "source": [
        "# マルチワーカー CPU/GPU トレーニングを移行する\n",
        "\n",
        "<table class=\"tfo-notebook-buttons\" align=\"left\">\n",
        "  <td>     <a target=\"_blank\" href=\"https://www.tensorflow.org/guide/migrate/multi_worker_cpu_gpu_training\"><img src=\"https://www.tensorflow.org/images/tf_logo_32px.png\">TensorFlow.org で表示</a>\n",
        "</td>\n",
        "  <td>     <a target=\"_blank\" href=\"https://colab.research.google.com/github/tensorflow/docs-l10n/blob/master/site/ja/guide/migrate/multi_worker_cpu_gpu_training.ipynb\"><img src=\"https://www.tensorflow.org/images/colab_logo_32px.png\">Google Colab で実行</a>\n",
        "</td>\n",
        "  <td><a target=\"_blank\" href=\"https://github.com/tensorflow/docs-l10n/blob/master/site/ja/guide/migrate/multi_worker_cpu_gpu_training.ipynb\"><img src=\"https://www.tensorflow.org/images/GitHub-Mark-32px.png\">GitHub でソースを表示</a></td>\n",
        "  <td>     <a href=\"https://storage.googleapis.com/tensorflow_docs/docs-l10n/site/ja/guide/migrate/multi_worker_cpu_gpu_training.ipynb\"><img src=\"https://www.tensorflow.org/images/download_logo_32px.png\">ノートブックをダウンロード</a>   </td>\n",
        "</table>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "meUTrR4I6m1C"
      },
      "source": [
        "このガイドでは、マルチワーカーの分散トレーニングワークフローを TensorFlow 1 から TensorFlow 2 に移行する方法を実演します。\n",
        "\n",
        "CPU/GPU を使用してマルチワーカートレーニングを実行するには\n",
        "\n",
        "- TensorFlow 1 では、`tf.estimator.train_and_evaluate` および `tf.estimator.Estimator` API を使用してきました。\n",
        "- TensorFlow 2 では、Keras API を使用して、モデル、損失関数、オプティマイザー、および指標を記述します。次に、Keras `Model.fit` API またはカスタムトレーニングループ（`tf.GradientTape`）を使用し、`tf.distribute.experimental.ParameterServerStrategy` または `tf.distribute.MultiWorkerMirroredStrategy` を使用して複数のワーカーにトレーニングを分散します。詳細については、次のチュートリアルを参照してください。\n",
        "    - [TensorFlow による分散型トレーニング](../../guide/distributed_training.ipynb)\n",
        "    - [Keras Model.fit/カスタムトレーニングループを使用したパラメータサーバートレーニング](../../tutorials/distribute/parameter_server_training.ipynb)\n",
        "    - [Keras Model.fit を使用した MultiWorkerMirroredStrategy](../../tutorials/distribute/multi_worker_with_keras.ipynb)\n",
        "    - [カスタムトレーニングループを使用した MultiWorkerMirroredStrategy](../../tutorials/distribute/multi_worker_with_ctl.ipynb)。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "YdZSoIXEbhg-"
      },
      "source": [
        "## セットアップ"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "28f46832b54d"
      },
      "source": [
        "必要とされるインポートとデモ用の単純なデータセットから始めます。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "iE0vSfMXumKI"
      },
      "outputs": [],
      "source": [
        "# The notebook uses a dataset instance for `Model.fit` with\n",
        "# `ParameterServerStrategy`, which depends on symbols in TF 2.7.\n",
        "# Install a utility needed for this demonstration\n",
        "!pip install portpicker\n",
        "\n",
        "import tensorflow as tf\n",
        "import tensorflow.compat.v1 as tf1"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "m7rnGxsXtDkV"
      },
      "outputs": [],
      "source": [
        "features = [[1., 1.5], [2., 2.5], [3., 3.5]]\n",
        "labels = [[0.3], [0.5], [0.7]]\n",
        "eval_features = [[4., 4.5], [5., 5.5], [6., 6.5]]\n",
        "eval_labels = [[0.8], [0.9], [1.]]"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "T2uaw9QaDM_X"
      },
      "source": [
        "TensorFlow で複数のマシンでトレーニングするには、`'TF_CONFIG'` 構成環境変数が必要になります。`'TF_CONFIG'` を使用して、`'cluster'` と `'task'` のアドレスを指定します。（詳しくは [Distributed_training](../...guide/distributed_training.ipynb) ガイドを参照してください）。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "4OUzwoQgXgkG"
      },
      "outputs": [],
      "source": [
        "import json\n",
        "import os\n",
        "\n",
        "tf_config = {\n",
        "    'cluster': {\n",
        "        'chief': ['localhost:11111'],\n",
        "        'worker': ['localhost:12345', 'localhost:23456', 'localhost:21212'],\n",
        "        'ps': ['localhost:12121', 'localhost:13131'],\n",
        "    },\n",
        "    'task': {'type': 'chief', 'index': 0}\n",
        "}\n",
        "\n",
        "os.environ['TF_CONFIG'] = json.dumps(tf_config)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PbeoSbbmDdc0"
      },
      "source": [
        "注意: 残念ながら、TensorFlow 1 の `tf.estimator` API を使用したマルチワーカートレーニングには複数のクライアントが必要になるため、（この Colab ノートブックでこれを実行するのが特に難しくなります）、ローカルトレーニングにフォールバックするように `'TF_CONFIG'` 環境変数なしでノートブックが実行できるようにします。（詳細については、[TensorFlow を使用した分散トレーニング](../../guide/distributed_training.ipynb) ガイドの <em data-md-type=\"emphasis\">`'TF_CONFIG'` 環境変数の設定</em>セクションを参照してください。）\n",
        "\n",
        "`del` ステートメントを使用して変数を削除します（ただし、TensorFlow 1 での実際のマルチワーカートレーニングでは、これを行う必要はありません）。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "AHuynAR5D8sU"
      },
      "outputs": [],
      "source": [
        "del os.environ['TF_CONFIG']"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4uXff1BEssdE"
      },
      "source": [
        "## TensorFlow 1: tf.estimator API を使用したマルチワーカー分散トレーニング"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "MpyINdiLEN3c"
      },
      "source": [
        "次のコードスニペットは、TF1 でのマルチワーカートレーニングの正規のワークフローを示しています。`tf.estimator.Estimator`、`tf.estimator.TrainSpec`、`tf.estimator.EvalSpec`、およびトレーニングを分散する `tf.estimator.train_and_evaluate` API を使用します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "lqe9obf7suIj"
      },
      "outputs": [],
      "source": [
        "def _input_fn():\n",
        "  return tf1.data.Dataset.from_tensor_slices((features, labels)).batch(1)\n",
        "\n",
        "def _eval_input_fn():\n",
        "  return tf1.data.Dataset.from_tensor_slices(\n",
        "      (eval_features, eval_labels)).batch(1)\n",
        "\n",
        "def _model_fn(features, labels, mode):\n",
        "  logits = tf1.layers.Dense(1)(features)\n",
        "  loss = tf1.losses.mean_squared_error(labels=labels, predictions=logits)\n",
        "  optimizer = tf1.train.AdagradOptimizer(0.05)\n",
        "  train_op = optimizer.minimize(loss, global_step=tf1.train.get_global_step())\n",
        "  return tf1.estimator.EstimatorSpec(mode, loss=loss, train_op=train_op)\n",
        "\n",
        "estimator = tf1.estimator.Estimator(model_fn=_model_fn)\n",
        "train_spec = tf1.estimator.TrainSpec(input_fn=_input_fn)\n",
        "eval_spec = tf1.estimator.EvalSpec(input_fn=_eval_input_fn)\n",
        "tf1.estimator.train_and_evaluate(estimator, train_spec, eval_spec)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "KEmzBjfnsxwT"
      },
      "source": [
        "## TensorFlow 2: 分散ストラテジーによるマルチワーカートレーニング"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Syb66qsbEp1x"
      },
      "source": [
        "TensorFlow 2 では、`tf.distribute.Strategy` を介して、CPU、GPU、および TPU を使用する複数のワーカーでの分散トレーニングが行われます。\n",
        "\n",
        "次の例は、2 つのストラテジー `tf.distribute.experimental.ParameterServerStrategy` と `tf.distribute.MultiWorkerMirroredStrategy` の使用方法を示しています。どちらも複数のワーカーによる CPU/GPU トレーニングのために設計されています。\n",
        "\n",
        "`ParameterServerStrategy` は、*コーディネーター*（`'chief'`）を採用しているため、この Colab ノートブックの環境により使いやすくなっています。ここでは、いくつかのユーティリティを使用して、実行可能なエクスペリエンスに不可欠なサポート要素をセットアップします。スレッドを使用してパラメータサーバー（`'ps'`）とワーカー（`'worker'`）をシミュレートする *インプロセスクラスタ*を作成します。パラメータサーバーのトレーニングの詳細については、[ParameterServerStrategy を使用したパラメータサーバーのトレーニング](../../tutorials/distribute/parameter_server_training.ipynb)のチュートリアルを参照してください。\n",
        "\n",
        "この例では、まず `'TF_CONFIG'` 環境変数を `tf.distribute.cluster_resolver.TFConfigClusterResolver` で定義して、クラスター情報を提供します。分散トレーニングにクラスター管理システムを使用している場合は、すでに `'TF_CONFIG'` が提供されているかどうかを確認してください。提供されている場合、この環境変数を明示的に設定する必要はありません。（詳細については、[TensorFlow を使用した分散トレーニング](../../guide/distributed_training.ipynb)ガイドの <em data-md-type=\"emphasis\">`'TF_CONFIG'` 環境変数の設定</em>セクションを参照してください。）"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "rp-gFY0H5rF-"
      },
      "outputs": [],
      "source": [
        "# Find ports that are available for the `'chief'` (the coordinator),\n",
        "# `'worker'`s, and `'ps'` (parameter servers).\n",
        "import portpicker\n",
        "\n",
        "chief_port = portpicker.pick_unused_port()\n",
        "worker_ports = [portpicker.pick_unused_port() for _ in range(3)]\n",
        "ps_ports = [portpicker.pick_unused_port() for _ in range(2)]\n",
        "\n",
        "# Dump the cluster information to `'TF_CONFIG'`.\n",
        "tf_config = {\n",
        "    'cluster': {\n",
        "        'chief': [\"localhost:%s\" % chief_port],\n",
        "        'worker': [\"localhost:%s\" % port for port in worker_ports],\n",
        "        'ps':  [\"localhost:%s\" % port for port in ps_ports],\n",
        "    },\n",
        "    'task': {'type': 'chief', 'index': 0}\n",
        "}\n",
        "os.environ['TF_CONFIG'] = json.dumps(tf_config)\n",
        "\n",
        "# Use a cluster resolver to bridge the information to the strategy created below.\n",
        "cluster_resolver = tf.distribute.cluster_resolver.TFConfigClusterResolver()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "o_8uVvJb6dqq"
      },
      "source": [
        "次に、ワーカーとパラメータサーバーの `tf.distribute.Server` を 1 つずつ作成します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "ZJopinmG6b2z"
      },
      "outputs": [],
      "source": [
        "# Workers need some inter_ops threads to work properly.\n",
        "# This is only needed for this notebook to demo. Real servers\n",
        "# should not need this.\n",
        "worker_config = tf.compat.v1.ConfigProto()\n",
        "worker_config.inter_op_parallelism_threads = 4\n",
        "\n",
        "for i in range(3):\n",
        "  tf.distribute.Server(\n",
        "      cluster_resolver.cluster_spec(),\n",
        "      job_name=\"worker\",\n",
        "      task_index=i,\n",
        "      config=worker_config)\n",
        "\n",
        "for i in range(2):\n",
        "  tf.distribute.Server(\n",
        "      cluster_resolver.cluster_spec(),\n",
        "      job_name=\"ps\",\n",
        "      task_index=i)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "IpfCcF0g6Ao8"
      },
      "source": [
        "実際の分散トレーニングでは、コーディネーターですべての `tf.distribute.Server` を開始せずに、複数のマシンを使用し、`\"worker\"` と `\"ps\"`（パラメータサーバー）は、それぞれ `tf.distribute.Server` を実行します。詳細については、[パラメータサーバのトレーニング](../../tutorials/distribute/parameter_server_training.ipynb) チュートリアルの*実世界のクラスタ*セクションを参照してください。\n",
        "\n",
        "すべての準備が整ったら、`ParameterServerStrategy` オブジェクトを作成します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "t45iQeBT7Us_"
      },
      "outputs": [],
      "source": [
        "strategy = tf.distribute.experimental.ParameterServerStrategy(cluster_resolver)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "diNsps1MGRS6"
      },
      "source": [
        "ストラテジーオブジェクトを作成したら、モデル、オプティマイザ、およびその他の変数を定義し、`Strategy.scope` API 内で Keras `Model.compile` を呼び出してトレーニングを分散します。（詳細については、`Strategy.scope` API ドキュメントを参照してください。）\n",
        "\n",
        "例えば、フォワードパスとバックワードパスを定義してトレーニングをカスタマイズする場合は、詳細について、[パラメータサーバートレーニング](../../tutorials/distribute/parameter_server_training.ipynb)チュートリアルの*カスタムトレーニングループを使用したトレーニング*セクションを参照してください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "atVciNgPs0fw"
      },
      "outputs": [],
      "source": [
        "dataset = tf.data.Dataset.from_tensor_slices(\n",
        "      (features, labels)).shuffle(10).repeat().batch(64)\n",
        "\n",
        "eval_dataset = tf.data.Dataset.from_tensor_slices(\n",
        "      (eval_features, eval_labels)).repeat().batch(1)\n",
        "\n",
        "with strategy.scope():\n",
        "  model = tf.keras.models.Sequential([tf.keras.layers.Dense(1)])\n",
        "  optimizer = tf.keras.optimizers.legacy.Adagrad(learning_rate=0.05)\n",
        "  model.compile(optimizer, \"mse\")\n",
        "\n",
        "model.fit(dataset, epochs=5, steps_per_epoch=10)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "akZ0aaaS1vA9"
      },
      "outputs": [],
      "source": [
        "model.evaluate(eval_dataset, steps=10, return_dict=True)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pXbS71XmMSoO"
      },
      "source": [
        "> **パーティショナ（`tf.distribute.experimental.practitioners{/code 0}）`**\n",
        ">\n",
        "> TensorFlow 2 の `ParameterServerStrategy` は、変数のパーティショニングをサポートし、TensorFlow 1 と同じパーティショナを提供しますが、紛らわしい名前はありません。\n",
        ">\n",
        "> - `tf.compat.v1.variable_axis_size_partitioner` -&gt; `tf.distribute.experimental.partitioners.MaxSizePartitioner`: シャードを最大サイズ以下に保つパーティショナ）。\n",
        "> - `tf.compat.v1.min_max_variable_partitioner` -&gt; `tf.distribute.experimental.partitioners.MinSizePartitioner`: シャードごとに最小サイズを割り当てるパーティショナ。\n",
        "> - `tf.compat.v1.fixed_size_partitioner` -&gt; `tf.distribute.experimental.partitioners.FixedShardsPartitioner`: 固定数のシャードを割り当てるパーティショナ。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Ig0-uCUbGprd"
      },
      "source": [
        "または、`MultiWorkerMirroredStrategy` オブジェクトを使用できます。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "xHXP8bOBGtXL"
      },
      "outputs": [],
      "source": [
        "# To clean up the `TF_CONFIG` used for `ParameterServerStrategy`.\n",
        "del os.environ['TF_CONFIG']\n",
        "strategy = tf.distribute.MultiWorkerMirroredStrategy()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "tOsmqefTGwUf"
      },
      "source": [
        "上記で使用したストラテジーを `MultiWorkerMirroredStrategy` オブジェクトに置き換えて、このストラテジーでトレーニングを実行できます。\n",
        "\n",
        "`tf.estimator` API と同様に、`MultiWorkerMirroredStrategy` はマルチクライアントストラテジーであるため、この Colab ノートブックでは簡単に分散トレーニングを実行できません。したがって、上記のコードをこのストラテジーに置き換えると、ローカルで実行されることになります。マルチワーカートレーニング [Keras Model.fit を使用](../../tutorials/distribute/multi_worker_with_keras.ipynb)/[カスタムトレーニングループ](../../tutorials/distribute/multi_worker_with_ctl.ipynb)のチュートリアルでは、Colab のローカルホストで 2 つのワーカーを使用して変数を設定し、`'TF_CONFIG'` を使用してマルチワーカートレーニングを実行する方法を示しています。実際には、外部 IP アドレス/ポートに複数のワーカーを作成し、`'TF_CONFIG'` 変数を使用して各ワーカーのクラスター構成を指定します。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "917ef6135660"
      },
      "source": [
        "## 次のステップ"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "e76fd9d5c98c"
      },
      "source": [
        "TensorFlow 2 の `tf.distribute.experimental.ParameterServerStrategy` と `tf.distribute.MultiWorkerMirroredStrategy` を使用したマルチワーカー分散トレーニングの詳細については、次のリソースを参照してください。\n",
        "\n",
        "- チュートリアル: [ParameterServerStrategy と Keras Model.fit/カスタムトレーニングループを使用したパラメータサーバートレーニング](../../tutorials/distribute/parameter_server_training.ipynb)\n",
        "- チュートリアル: [MultiWorkerMirroredStrategy と Keras Model.fit を使用したマルチワーカートレーニング](../../tutorials/distribute/multi_worker_with_keras.ipynb)\n",
        "- チュートリアル: [MultiWorkerMirroredStrategy とカスタムトレーニングループを使用したマルチワーカートレーニング](../../tutorials/distribute/multi_worker_with_ctl.ipynb)\n",
        "- ガイド: [TensorFlow による分散トレーニング](../../guide/distributed_training.ipynb)\n",
        "- ガイド: [TensorFlow Profiler を使用した TensorFlow GPU パフォーマンスの最適化](../../guide/gpu_performance_analysis.ipynb)\n",
        "- ガイド: [GPU を使用する](../../guide/gpu.ipynb)（複数の GPU を使用するセクション）"
      ]
    }
  ],
  "metadata": {
    "colab": {
      "collapsed_sections": [],
      "name": "multi_worker_cpu_gpu_training.ipynb",
      "toc_visible": true
    },
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}