site/ja/guide/migrate/saved_model.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "q9KfUf1BI6Kl"
      },
      "source": [
        "##### Copyright 2021 The TensorFlow Authors."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "cellView": "form",
        "id": "WvqLCVQ6I58i"
      },
      "outputs": [],
      "source": [
        "#@title Licensed under the Apache License, Version 2.0 (the \"License\");\n",
        "# you may not use this file except in compliance with the License.\n",
        "# You may obtain a copy of the License at\n",
        "#\n",
        "# https://www.apache.org/licenses/LICENSE-2.0\n",
        "#\n",
        "# Unless required by applicable law or agreed to in writing, software\n",
        "# distributed under the License is distributed on an \"AS IS\" BASIS,\n",
        "# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\n",
        "# See the License for the specific language governing permissions and\n",
        "# limitations under the License."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ZoFRICPTNUca"
      },
      "source": [
        "# SavedModel ワークフローを移行する\n",
        "\n",
        "<table class=\"tfo-notebook-buttons\" align=\"left\">\n",
        "  <td><a target=\"_blank\" href=\"https://www.tensorflow.org/guide/migrate/saved_model\"> <img src=\"https://www.tensorflow.org/images/tf_logo_32px.png\"> TensorFlow.org で表示</a></td>\n",
        "  <td><a target=\"_blank\" href=\"https://colab.research.google.com/github/tensorflow/docs-l10n/blob/master/site/ja/guide/migrate/saved_model.ipynb\"> <img src=\"https://www.tensorflow.org/images/colab_logo_32px.png\"> Google Colab で実行</a></td>\n",
        "  <td><a target=\"_blank\" href=\"https://github.com/tensorflow/docs-l10n/blob/master/site/ja/guide/migrate/saved_model.ipynb\"> <img src=\"https://www.tensorflow.org/images/GitHub-Mark-32px.png\"> GitHub でソースを表示</a></td>\n",
        "  <td><a href=\"https://storage.googleapis.com/tensorflow_docs/docs-l10n/site/ja/guide/migrate/saved_model.ipynb\"><img src=\"https://www.tensorflow.org/images/download_logo_32px.png\">ノートブックをダウンロード</a></td>\n",
        "</table>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "nGyIb7MYJfaM"
      },
      "source": [
        "モデルを TensorFlow 1 のグラフとセッションから `tf.keras.Model`、`tf.function`、`tf.Module` などの TensorFlow 2 API に移行したら、モデルの保存と読み込みコードを移行できます。このノートブックは、TensorFlow 1 と TensorFlow 2 の SavedModel 形式で保存および読み込む方法の例を提供します。TensorFlow 1 から TensorFlow 2 への移行に関連する API の変更の概要を次に示します。\n",
        "\n",
        " | TensorFlow 1 | TensorFlow 2 への移行\n",
        "--- | --- | ---\n",
        "**保存** | `tf.compat.v1.saved_model.Builder`<br>`tf.compat.v1.saved_model.simple_save` | `tf.saved_model.save`<br>Keras: `tf.keras.models.save_model`\n",
        "**読み込み** | `tf.compat.v1.saved_model.load` | `tf.saved_model.load`<br>Keras: `tf.keras.models.load_model`\n",
        "**シグネチャ**: 実行に使用できる<br>入力と出力<br>テンソルのセット<br> | `*.signature_def` ユーティリティを使用して生成<br>（例: `tf.compat.v1.saved_model.predict_signature_def`） | `tf.function` を作成し、`tf.saved_model.save` で <code>signatures</code> 引数を<br>使用してエクスポートします。\n",
        "**分類<br>および回帰**: <br>特別な種類のシグネチャ | <code>tf.compat.v1.saved_model.classification_signature_def</code>、<br><code>tf.compat.v1.saved_model.regression_signature_def</code>、および特定の Estimator エクスポートで生成。<br><br> | これら 2 つのシグネチャタイプは TensorFlow 2 から削除されました。<br>サービス提供ライブラリがこれらのメソッド名を必要とする場合は、<br> `tf.compat.v1.saved_model.signature_def_utils.MethodNameUpdater`。\n",
        "\n",
        "| TensorFlow 1 | TensorFlow 2 への移行 --- | --- | --- **保存** | `tf.compat.v1.saved_model.Builder`<br>`tf.compat.v1.saved_model.simple_save` | `tf.saved_model.save`<br>Keras: `tf.keras.models.save_model` **読み込み** | `tf.compat.v1.saved_model.load` | `tf.saved_model.load`<br>Keras: `tf.keras.models.load_model` **シグネチャ**: 実行に使用できる<br>入力と出力<br>テンソルのセット<br> | `*.signature_def` ユーティリティを使用して生成<br>（例: `tf.compat.v1.saved_model.predict_signature_def`） | `tf.function` を作成し、`tf.saved_model.save` で <code>signatures</code> 引数を<br>使用してエクスポートします。 <strong data-md-type=\"double_emphasis\">分類<br>および回帰</strong>: <br>特別な種類のシグネチャ | <code>tf.compat.v1.saved_model.classification_signature_def</code>、<br><code>tf.compat.v1.saved_model.regression_signature_def</code>、および特定の Estimator エクスポートで生成。<br><br> | これら 2 つのシグネチャタイプは TensorFlow 2 から削除されました。<br>サービス提供ライブラリがこれらのメソッド名を必要とする場合は、<br> `tf.compat.v1.saved_model.signature_def_utils.MethodNameUpdater`。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "r5mR2xsNAGsB"
      },
      "source": [
        "## セットアップ\n",
        "\n",
        "以下の例は、TensorFlow 1 および TensorFlow 2 API を使用して、同じダミーの TensorFlow モデル（以下で `add_two` として定義）を SavedModel 形式にエクスポートおよびロードする方法を示しています。インポートとユーティリティ関数を設定することから始めます。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "B94QZyy-kOGQ"
      },
      "outputs": [],
      "source": [
        "import tensorflow as tf\n",
        "import tensorflow.compat.v1 as tf1\n",
        "import shutil\n",
        "\n",
        "def remove_dir(path):\n",
        "  try:\n",
        "    shutil.rmtree(path)\n",
        "  except:\n",
        "    pass\n",
        "\n",
        "def add_two(input):\n",
        "  return input + 2"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ZNVpH5tOCgd9"
      },
      "source": [
        "## TensorFlow 1: SavedModel を保存してエクスポートする\n",
        "\n",
        "TensorFlow 1 では、`tf.compat.v1.saved_model.Builder`、`tf.compat.v1.saved_model.simple_save`、および `tf.estimator.Estimator.export_saved_model` API を使用して、TensorFlow グラフとセッションを構築、保存、およびエクスポートします。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "THRLul5ijmTE"
      },
      "source": [
        "### 1. SavedModelBuilder を使用して、グラフを SavedModel として保存する"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "dcZDQaI8jl3h"
      },
      "outputs": [],
      "source": [
        "remove_dir(\"saved-model-builder\")\n",
        "\n",
        "with tf.Graph().as_default() as g:\n",
        "  with tf1.Session() as sess:\n",
        "    input = tf1.placeholder(tf.float32, shape=[])\n",
        "    output = add_two(input)\n",
        "    print(\"add two output: \", sess.run(output, {input: 3.}))\n",
        "\n",
        "    # Save with SavedModelBuilder\n",
        "    builder = tf1.saved_model.Builder('saved-model-builder')\n",
        "    sig_def = tf1.saved_model.predict_signature_def(\n",
        "        inputs={'input': input},\n",
        "        outputs={'output': output})\n",
        "    builder.add_meta_graph_and_variables(\n",
        "        sess, tags=[\"serve\"], signature_def_map={\n",
        "            tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: sig_def\n",
        "    })\n",
        "    builder.save()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "PwtC27VFlwCa"
      },
      "outputs": [],
      "source": [
        "!saved_model_cli run --dir saved-model-builder --tag_set serve \\\n",
        " --signature_def serving_default --input_exprs input=10"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "gnBDNTxKG_vR"
      },
      "source": [
        "### 2. 提供する SavedModel を構築する"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "jtMxe2rjHSq9"
      },
      "outputs": [],
      "source": [
        "remove_dir(\"simple-save\")\n",
        "\n",
        "with tf.Graph().as_default() as g:\n",
        "  with tf1.Session() as sess:\n",
        "    input = tf1.placeholder(tf.float32, shape=[])\n",
        "    output = add_two(input)\n",
        "    print(\"add_two output: \", sess.run(output, {input: 3.}))\n",
        "\n",
        "    tf1.saved_model.simple_save(\n",
        "        sess, 'simple-save',\n",
        "        inputs={'input': input},\n",
        "        outputs={'output': output})"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "AdnqemvIHb2P"
      },
      "outputs": [],
      "source": [
        "!saved_model_cli run --dir simple-save --tag_set serve \\\n",
        " --signature_def serving_default --input_exprs input=10"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "r0BNzzAHjnkp"
      },
      "source": [
        "### 3. Estimator 推論グラフを SavedModel としてエクスポートする\n",
        "\n",
        "Estimator `model_fn`（以下で定義）の定義では、`tf.estimator.EstimatorSpec` で `export_outputs` を返すことにより、モデルでシグネチャを定義できます。出力にはさまざまなタイプがあります。\n",
        "\n",
        "- `tf.estimator.export.ClassificationOutput`\n",
        "- `tf.estimator.export.RegressionOutput`\n",
        "- `tf.estimator.export.PredictOutput`\n",
        "\n",
        "これらは、それぞれ分類、回帰、および予測シグネチャタイプを生成します。\n",
        "\n",
        "estimator が `tf.estimator.Estimator.export_saved_model` でエクスポートされると、これらのシグネチャはモデルとともに保存されます。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "3nQ5Stnxjhfs"
      },
      "outputs": [],
      "source": [
        "def model_fn(features, labels, mode):\n",
        "  output = add_two(features['input'])\n",
        "  step = tf1.train.get_global_step()\n",
        "  return tf.estimator.EstimatorSpec(\n",
        "      mode,\n",
        "      predictions=output,\n",
        "      train_op=step.assign_add(1),\n",
        "      loss=tf.constant(0.),\n",
        "      export_outputs={\n",
        "          tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: \\\n",
        "          tf.estimator.export.PredictOutput({'output': output})})\n",
        "est = tf.estimator.Estimator(model_fn, 'estimator-checkpoints')\n",
        "\n",
        "# Train for one step to create a checkpoint.\n",
        "def train_fn():\n",
        "  return tf.data.Dataset.from_tensors({'input': 3.})\n",
        "est.train(train_fn, steps=1)\n",
        "\n",
        "# This utility function `build_raw_serving_input_receiver_fn` takes in raw\n",
        "# tensor features and builds an \"input serving receiver function\", which\n",
        "# creates placeholder inputs to the model.\n",
        "serving_input_fn = tf.estimator.export.build_raw_serving_input_receiver_fn(\n",
        "    {'input': tf.constant(3.)})  # Pass in a dummy input batch.\n",
        "estimator_path = est.export_saved_model('exported-estimator', serving_input_fn)\n",
        "\n",
        "# Estimator's export_saved_model creates a time stamped directory. Move this\n",
        "# to a set path so it can be inspected with `saved_model_cli` in the cell below.\n",
        "!rm -rf estimator-model\n",
        "import shutil\n",
        "shutil.move(estimator_path, 'estimator-model')"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "8_gD2gkE7CMu"
      },
      "outputs": [],
      "source": [
        "!saved_model_cli run --dir estimator-model --tag_set serve \\\n",
        " --signature_def serving_default --input_exprs input=[10]"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DyBvrNQgIhIo"
      },
      "source": [
        "## TensorFlow 2: SavedModel を保存してエクスポートする"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "BZmFH-eIjqjB"
      },
      "source": [
        "### tf.Module で定義された SavedModel を保存してエクスポートする\n",
        "\n",
        "TensorFlow 2 でモデルをエクスポートするには、モデルのすべての変数と関数を保持するために `tf.Module` または `tf.keras.Model` を定義する必要があります。次に、`tf.saved_model.save` を呼び出して、SavedModel を作成できます。詳細については、[SavedModel  形式の使用](../saved_model.ipynb)の*カスタムモデルの保存*セクションを参照してください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "_j-PwgP_jrgw"
      },
      "outputs": [],
      "source": [
        "class MyModel(tf.Module):\n",
        "  @tf.function\n",
        "  def __call__(self, input):\n",
        "    return add_two(input)\n",
        "\n",
        "model = MyModel()\n",
        "\n",
        "@tf.function\n",
        "def serving_default(input):\n",
        "  return {'output': model(input)}\n",
        "\n",
        "signature_function = serving_default.get_concrete_function(\n",
        "    tf.TensorSpec(shape=[], dtype=tf.float32))\n",
        "tf.saved_model.save(\n",
        "    model, 'tf2-save', signatures={\n",
        "        tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature_function})"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "slvU4vZN756F"
      },
      "outputs": [],
      "source": [
        "!saved_model_cli run --dir tf2-save --tag_set serve \\\n",
        " --signature_def serving_default --input_exprs input=10"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "UYpSfbBJjr33"
      },
      "source": [
        "### Keras で定義された SavedModel を保存してエクスポートする\n",
        "\n",
        "廃止: Keras オブジェクトについては、新しい高レベルの `.keras` 形式と `tf.keras.Model.export` を使用することをお勧めします。これについては、[こちら](https://www.tensorflow.org/guide/keras/save_and_serialize)のガイドで説明されています。既存のコードについては、低レベルの SavedModel 形式が引き続きサポートされます。\n",
        "\n",
        "保存およびエクスポート用の Keras API（`Mode.save` または `tf.keras.models.save_model`）は、 SavedModel を `tf.keras.Model` からエクスポートできます。詳細については、[Keras モデルの保存と読み込み](../..guide/keras/save_and_serialize)をご覧ください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "mMcjhzyRjvp6"
      },
      "outputs": [],
      "source": [
        "inp = tf.keras.Input(3)\n",
        "out = add_two(inp)\n",
        "model = tf.keras.Model(inputs=inp, outputs=out)\n",
        "\n",
        "@tf.function(input_signature=[tf.TensorSpec(shape=[], dtype=tf.float32)])\n",
        "def serving_default(input):\n",
        "  return {'output': model(input)}\n",
        "\n",
        "model.save('keras-model', save_format='tf', signatures={\n",
        "        tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: serving_default})"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "4P93WP5R7-VT"
      },
      "outputs": [],
      "source": [
        "!saved_model_cli run --dir keras-model --tag_set serve \\\n",
        " --signature_def serving_default --input_exprs input=10"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "SEKe9rGgoGCw"
      },
      "source": [
        "## SavedModel の読み込み\n",
        "\n",
        "上記の API のいずれかで保存された SavedModel は、TensorFlow 1 または TensorFlow 2 API のいずれかを使用して読み込むことができます。\n",
        "\n",
        "TensorFlow 1 の SavedModel は通常、TensorFlow 2 に読み込まれたときに推論に使用できますが、トレーニング（勾配の生成）は、SavedModel に*リソース変数*が含まれている場合にのみ可能です。変数の dtype を確認できます。変数 dtype に「_ref」が含まれている場合、それは参照変数です。\n",
        "\n",
        "TensorFlow 2 SavedModel は、SavedModel がシグネチャ付きで保存されている限り、TensorFlow 1 から読み込んで実行できます。\n",
        "\n",
        "以下のセクションには、前のセクションで保存された SavedModels を読み込み、エクスポートされたシグネチャを呼び出す方法を示すコードサンプルが含まれています。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hLztK_0YoTEP"
      },
      "source": [
        "### TensorFlow 1: tf.saved_model.load で SavedModel をロードする\n",
        "\n",
        "TensorFlow 1 では、`tf.saved_model.load`を使用して、SavedModel を現在のグラフとセッションに直接インポートできます。テンソルの入力名と出力名で `Session.run` を呼び出すことができます。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "IMO0laj-m0p9"
      },
      "outputs": [],
      "source": [
        "def load_tf1(path, input):\n",
        "  print('Loading from', path)\n",
        "  with tf.Graph().as_default() as g:\n",
        "    with tf1.Session() as sess:\n",
        "      meta_graph = tf1.saved_model.load(sess, [\"serve\"], path)\n",
        "      sig_def = meta_graph.signature_def[tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY]\n",
        "      input_name = sig_def.inputs['input'].name\n",
        "      output_name = sig_def.outputs['output'].name\n",
        "      print('  Output with input', input, ': ', \n",
        "            sess.run(output_name, feed_dict={input_name: input}))\n",
        "\n",
        "load_tf1('saved-model-builder', 5.)\n",
        "load_tf1('simple-save', 5.)\n",
        "load_tf1('estimator-model', [5.])  # Estimator's input must be batched.\n",
        "load_tf1('tf2-save', 5.)\n",
        "load_tf1('keras-model', 5.)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FbR3sfvooVBN"
      },
      "source": [
        "### TensorFlow 2: tf.saved_model で保存されたモデルを読み込む\n",
        "\n",
        "TensorFlow 2 では、変数と関数を格納する Python オブジェクトにオブジェクトが読み込まれます。これは、TensorFlow 1 から保存されたモデルと互換性があります。\n",
        "\n",
        "詳細については、[SavedModel フォーマットの使用](../..guide/saved_model)ガイドの `tf.saved_model.load` API ドキュメント、および[カスタムのモデルの読み込みと使用](../../guide/saved_model#loading_and_using_a_custom_model)セクションを確認してください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "OA52ezWV_KgL"
      },
      "outputs": [],
      "source": [
        "def load_tf2(path, input):\n",
        "  print('Loading from', path)\n",
        "  loaded = tf.saved_model.load(path)\n",
        "  out = loaded.signatures[tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY](\n",
        "      tf.constant(input))['output']\n",
        "  print('  Output with input', input, ': ', out)\n",
        "\n",
        "load_tf2('saved-model-builder', 5.)\n",
        "load_tf2('simple-save', 5.)\n",
        "load_tf2('estimator-model', [5.])  # Estimator's input must be batched.\n",
        "load_tf2('tf2-save', 5.)\n",
        "load_tf2('keras-model', 5.)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Gz3VFn5aAfmK"
      },
      "source": [
        "TensorFlow 2 API で保存されたモデルは、（シグネチャとしてエクスポートされたものの代わりに）モデルに添付された `tf.function` と変数にもアクセスできます。例えば、次の例をご覧ください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "IfMTp-TGAfOs"
      },
      "outputs": [],
      "source": [
        "loaded = tf.saved_model.load('tf2-save')\n",
        "print('restored __call__:', loaded.__call__)\n",
        "print('output with input 5.', loaded(5))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "VMoErNKHoXEg"
      },
      "source": [
        "### TensorFlow 2: Keras で保存されたモデルを読み込む\n",
        "\n",
        "廃止: Keras オブジェクトについては、新しい高レベルの `.keras` 形式と `tf.keras.Model.export` を使用することをお勧めします。これについては、[こちら](https://www.tensorflow.org/guide/keras/save_and_serialize)のガイドで説明されています。既存のコードについては、低レベルの SavedModel 形式が引き続きサポートされます。\n",
        "\n",
        "The Keras loading API—`tf.keras.models.load_model`—allows you to reload a saved model back into a Keras Model object. Note that this only allows you to load SavedModels saved with Keras (`Model.save` or `tf.keras.models.save_model`).\n",
        "\n",
        "`tf.saved_model.save` で保存されたモデルは、`tf.saved_model.load` でロードする必要があります。`tf.saved_model.load` を使用して `Model.save` で保存された Keras モデルを読み込めますが、TensorFlow グラフしか取得できません。詳細については、`tf.keras.models.load_model` API ドキュメントと [Keras モデルの保存と読み込み](https://www.tensorflow.org/guide/keras/save_and_serialize#savedmodel_format)に関するガイドを参照してください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "ZFUAxK0YeIAe"
      },
      "outputs": [],
      "source": [
        "loaded_model = tf.keras.models.load_model('keras-model')\n",
        "loaded_model.predict_on_batch(tf.constant([1, 3, 4]))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Tz4eAAGY19MM"
      },
      "source": [
        "## GraphDef と MetaGraphDef\n",
        "\n",
        "&lt;a name=\"graphdef_and_metagraphdef\"&gt;\n",
        "\n",
        "未処理の `GraphDef` または `MetaGraphDef` を TF2 に読み込む簡単な方法はありません。ただし、TF1 コードを変換し、[`v1.wrap_function`](https://www.tensorflow.org/api_docs/python/tf/compat/v1/wrap_function) を使用して、グラフを TF2 [`concrete_function`](https://tensorflow.org/guide/concrete_function) にインポートできます。\n",
        "\n",
        "まず、MetaGraphDef を保存します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "grKam9zGnNRZ"
      },
      "outputs": [],
      "source": [
        "# Save a simple multiplication computation:\n",
        "with tf.Graph().as_default() as g:\n",
        "  x = tf1.placeholder(tf.float32, shape=[], name='x')\n",
        "  v = tf.Variable(3.0, name='v')\n",
        "  y = tf.multiply(x, v, name='y')\n",
        "  with tf1.Session() as sess:\n",
        "    sess.run(v.initializer)\n",
        "    print(sess.run(y, feed_dict={x: 5}))\n",
        "    s = tf1.train.Saver()\n",
        "    s.export_meta_graph('multiply.pb', as_text=True)\n",
        "    s.save(sess, 'multiply_values.ckpt')"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "bJnCe7eYrXev"
      },
      "source": [
        "TF1 API を使用すると、`tf1.train.import_meta_graph` を使用してグラフをインポートし、値を復元できます。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "3bbcGZ4CoVDL"
      },
      "outputs": [],
      "source": [
        "with tf.Graph().as_default() as g:\n",
        "  meta = tf1.train.import_meta_graph('multiply.pb')\n",
        "  x = g.get_tensor_by_name('x:0')\n",
        "  y = g.get_tensor_by_name('y:0')\n",
        "  with tf1.Session() as sess:\n",
        "    meta.restore(sess, 'multiply_values.ckpt')\n",
        "    print(sess.run(y, feed_dict={x: 5}))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "s9OnHOLDrnco"
      },
      "source": [
        "グラフを読み込むための TF2 API はありませんが、eager モードで実行できる具象関数にインポートできます。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "yAyGmDLlpVBX"
      },
      "outputs": [],
      "source": [
        "def import_multiply():\n",
        "  # Any graph-building code is allowed here.\n",
        "  tf1.train.import_meta_graph('multiply.pb')\n",
        "\n",
        "# Creates a tf.function with all the imported elements in the function graph.\n",
        "wrapped_import = tf1.wrap_function(import_multiply, [])\n",
        "import_graph = wrapped_import.graph\n",
        "x = import_graph.get_tensor_by_name('x:0')\n",
        "y = import_graph.get_tensor_by_name('y:0')\n",
        "\n",
        "# Restore the variable values.\n",
        "tf1.train.Saver(wrapped_import.variables).restore(\n",
        "    sess=None, save_path='multiply_values.ckpt')\n",
        "\n",
        "# Create a concrete function by pruning the wrap_function (similar to sess.run).\n",
        "multiply_fn = wrapped_import.prune(feeds=x, fetches=y)\n",
        "\n",
        "# Run this function\n",
        "multiply_fn(tf.constant(5.))  # inputs to concrete functions must be Tensors."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "GZ5vGJ0IDorc"
      },
      "source": [
        "## TensorFlow 1 から TensorFlow 2 への変更\n",
        "\n",
        "&lt;a id=\"changes_from_tf1_to_tf2\"&gt;\n",
        "\n",
        "このセクションでは、TensorFlow 1 の重要な保存と読み込みの用語、TensorFlow 2 の同等の用語、および変更点を一覧表示します。\n",
        "\n",
        "### SavedModel\n",
        "\n",
        "[SavedModel](../../guide/saved_model.ipynb) は、パラメータと計算を含む完全な TensorFlow プログラムを保存する形式です。これには、サービスプラットフォームがモデルを実行するために使用するシグネチャが含まれています。\n",
        "\n",
        "ファイル形式自体は大幅に変更されていないため、SavedModels は TensorFlow 1 または TensorFlow 2 API のいずれかを使用して読み込みおよび提供できます。\n",
        "\n",
        "**TensorFlow 1 と TensorFlow 2 の違い**\n",
        "\n",
        "*サービス提供*と*推論*のユースケースは、API の変更を除けば、TensorFlow 2 では更新されていません。SavedModel から読み込まれた*モデルを構成*して*再利用*する機能が改善されました。\n",
        "\n",
        "TensorFlow 2 では、プログラムは `tf.Variable`、`tf.Module`、または高レベルの Keras モデル（`tf.keras.Model`）およびレイヤー（`tf.keras.layers`）などのオブジェクトによって表されます。セッションに保管された値を持つグローバル変数はなくなり、グラフは異なる `tf.function` に存在するようになりました。したがって、モデルのエクスポート中に、SavedModel は各コンポーネントと関数グラフを個別に保存します。\n",
        "\n",
        "TensorFlow Python API を使用して TensorFlow プログラムを作成する場合、変数、関数、およびその他のリソースを管理するオブジェクトを作成する必要があります。通常、これは Keras API を使用して実現されますが、`tf.Module` を作成またはサブクラス化してオブジェクトを構築することもできます。\n",
        "\n",
        "Keras モデル（`tf.keras.Model`）と `tf.Module` は、それらに接続された変数と関数を自動的に追跡します。SavedModel はモジュール、変数、および関数間のこれらの接続を保存し、読み込み時に復元できるようにします。\n",
        "\n",
        "### シグネチャ\n",
        "\n",
        "シグニチャは、SavedModel のエンドポイントです。シグニチャは、モデルの実行方法と必要な入力をユーザーに伝えます。\n",
        "\n",
        "TensorFlow 1 では、シグネチャは入力テンソルと出力テンソルをリストすることによって作成されます。TensorFlow 2 では、シグネチャは*具象関数*を渡すことによって生成されます。（TensorFlow 関数の詳細については、[グラフと tf.function の概要](../intro_to_graphs.ipynb)ガイド、特に*多態性: 1 つの関数、多数のグラフ*セクションを参照してください。）要するに、具象関数は `tf.function` から生成されます。\n",
        "\n",
        "```python\n",
        "# Option 1: Specify an input signature.\n",
        "@tf.function(input_signature=[...])\n",
        "def fn(...):\n",
        "  ...\n",
        "  return outputs\n",
        "\n",
        "tf.saved_model.save(model, path, signatures={\n",
        "    'name': fn\n",
        "})\n",
        "```\n",
        "\n",
        "```python\n",
        "# Option 2: Call `get_concrete_function`\n",
        "@tf.function\n",
        "def fn(...):\n",
        "  ...\n",
        "  return outputs\n",
        "\n",
        "tf.saved_model.save(model, path, signatures={\n",
        "    'name': fn.get_concrete_function(...)\n",
        "})\n",
        "```\n",
        "\n",
        "### `Session.run`\n",
        "\n",
        "TensorFlow 1 では、テンソル名が分かっている限り、インポートされたグラフで `Session.run` を呼び出すことができました。これにより、復元された変数値を取得したり、シグネチャでエクスポートされなかったモデルの一部を実行したりできます。\n",
        "\n",
        "TensorFlow 2 では、重み行列（`kernel`）などの変数に直接アクセスできます。\n",
        "\n",
        "```python\n",
        "model = tf.Module()\n",
        "model.dense_layer = tf.keras.layers.Dense(...)\n",
        "tf.saved_model.save('my_saved_model')\n",
        "loaded = tf.saved_model.load('my_saved_model')\n",
        "loaded.dense_layer.kernel\n",
        "```\n",
        "\n",
        "または、モデルオブジェクトに接続された `tf.function` を呼び出します。例えば、`loaded.__call__` です。\n",
        "\n",
        "TF1 とは異なり、関数の一部を抽出して中間値にアクセスする方法はありません。保存されたオブジェクトで必要なすべての機能をエクスポートする*必要があります*。\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "b6NG9JvUwJxn"
      },
      "source": [
        "## TensorFlow Serving の移行に関する注意事項\n",
        "\n",
        "SavedModel はもともと [TensorFlow Serving](https://www.tensorflow.org/tfx/guide/serving) で動作するように作成されました。このプラットフォームは、分類、回帰、予測など、さまざまなタイプの予測リクエストを提供します。\n",
        "\n",
        "**TensorFlow 1** API を使用すると、ユーティリティで次のタイプのシグネチャを作成できます。\n",
        "\n",
        "- `tf.compat.v1.saved_model.classification_signature_def`\n",
        "- `tf.compat.v1.saved_model.regression_signature_def`\n",
        "- `tf.compat.v1.saved_model.predict_signature_def`\n",
        "\n",
        "[分類](https://www.tensorflow.org/tfx/serving/signature_defs#classification_signaturedef)（`classification_signature_def`）と[回帰](https://www.tensorflow.org/tfx/serving/signature_defs#regression_signaturedef)（`regression_signature_def`）は入力と出力を制限するため、入力は `tf.Example` である必要があり、出力は `classes`、`scores`、または `prediction` である必要があります。一方、 [予測シグネチャ](https://www.tensorflow.org/tfx/serving/signature_defs#predict_signaturedef)（`predict_signature_def`）には制限がありません。\n",
        "\n",
        "**TensorFlow 2** API でエクスポートされた SavedModel は TensorFlow Serving と互換性がありますが、予測シグネチャのみが含まれます。分類および回帰シグネチャは削除されました。\n",
        "\n",
        "分類および回帰シグネチャの使用が必要な場合は、エクスポートされた SavedModel を `tf.compat.v1.saved_model.signature_def_utils.MethodNameUpdater` を使用して変更できます。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "a3acd3b86215"
      },
      "source": [
        "## 次のステップ\n",
        "\n",
        "TensorFlow 2 の SavedModel の詳細については、次のガイドをご覧ください。\n",
        "\n",
        "- SavedModel 形式の使用\n",
        "- Kerasモデルの保存と読み込み\n",
        "\n",
        "TensorFlow Hub を使用している場合は、次のガイドが役立つことがあります。\n",
        "\n",
        "- [TensorFlow Hub: TensorFlow 1/TensorFlow 2 のモデル互換性](https://www.tensorflow.org/hub/model_compatibility)\n",
        "- [TensorFlow Hub を使用した TensorFlow 1 から TensorFlow 2 への移行](https://www.tensorflow.org/hub/migration_tf2)"
      ]
    }
  ],
  "metadata": {
    "colab": {
      "collapsed_sections": [],
      "name": "saved_model.ipynb",
      "toc_visible": true
    },
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}