site/ja/tutorials/structured_data/imbalanced_data.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dUeKVCYTbcyT"
      },
      "source": [
        "#### Copyright 2019 The TensorFlow Authors."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "cellView": "form",
        "id": "4ellrPx7tdxq"
      },
      "outputs": [],
      "source": [
        "#@title Licensed under the Apache License, Version 2.0 (the \"License\");\n",
        "# you may not use this file except in compliance with the License.\n",
        "# You may obtain a copy of the License at\n",
        "#\n",
        "# https://www.apache.org/licenses/LICENSE-2.0\n",
        "#\n",
        "# Unless required by applicable law or agreed to in writing, software\n",
        "# distributed under the License is distributed on an \"AS IS\" BASIS,\n",
        "# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\n",
        "# See the License for the specific language governing permissions and\n",
        "# limitations under the License."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7JfLUlawto_D"
      },
      "source": [
        "# 不均衡データの分類"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DwdpaTKJOoPu"
      },
      "source": [
        "<table class=\"tfo-notebook-buttons\" align=\"left\">\n",
        "  <td><a target=\"_blank\" href=\"https://www.tensorflow.org/tutorials/structured_data/imbalanced_data\"><img src=\"https://www.tensorflow.org/images/tf_logo_32px.png\">TensorFlow.org で表示</a></td>\n",
        "  <td><a target=\"_blank\" href=\"https://colab.research.google.com/github/tensorflow/docs-l10n/blob/master/site/ja/tutorials/structured_data/imbalanced_data.ipynb\"><img src=\"https://www.tensorflow.org/images/colab_logo_32px.png\">Google Colab で実行</a></td>\n",
        "  <td><a target=\"_blank\" href=\"https://github.com/tensorflow/docs-l10n/blob/master/site/ja/tutorials/structured_data/imbalanced_data.ipynb\"><img src=\"https://www.tensorflow.org/images/GitHub-Mark-32px.png\">GitHub でソースを表示</a></td>\n",
        "  <td><a href=\"https://storage.googleapis.com/tensorflow_docs/docs-l10n/site/ja/tutorials/structured_data/imbalanced_data.ipynb\"><img src=\"https://www.tensorflow.org/images/download_logo_32px.png\">ノートブックをダウンロード</a></td>\n",
        "</table>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "mthoSGBAOoX-"
      },
      "source": [
        "このチュートリアルでは、1 つのクラスの例の数が他のクラスの例の数を大幅に上回る、非常に不均衡なデータセットを分類する方法を示します。Kaggle でホストされている[クレジットカード不正検出](https://www.kaggle.com/mlg-ulb/creditcardfraud)データセットを使用します。目的は、合計 284,807 件のトランザクションからわずか 492 件の不正なトランザクションを検出することです。[Keras](https://www.tensorflow.org/guide/keras/overview) を使用してモデルを定義し、[クラスの重み付け](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/Model)を使用してモデルが不均衡なデータから学習できるようにします。\n",
        "\n",
        "このチュートリアルには、次の完全なコードが含まれています。\n",
        "\n",
        "- Pandas を使用して CSV ファイルを読み込む。\n",
        "- トレーニングセット、検証セット、テストセットを作成する。\n",
        "- Keras を使用してモデルの定義してトレーニングする（クラスの重みの設定を含む）。\n",
        "- 様々なメトリクス（適合率や再現率を含む）を使用してモデルを評価する。\n",
        "- 不均衡データを扱うための一般的なテクニックを試す。\n",
        "    - クラスの重み付け\n",
        "    - オーバーサンプリング\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "kRHmSyHxEIhN"
      },
      "source": [
        "## Setup"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "JM7hDSNClfoK"
      },
      "outputs": [],
      "source": [
        "import tensorflow as tf\n",
        "from tensorflow import keras\n",
        "\n",
        "import os\n",
        "import tempfile\n",
        "\n",
        "import matplotlib as mpl\n",
        "import matplotlib.pyplot as plt\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "import seaborn as sns\n",
        "\n",
        "import sklearn\n",
        "from sklearn.metrics import confusion_matrix\n",
        "from sklearn.model_selection import train_test_split\n",
        "from sklearn.preprocessing import StandardScaler"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "c8o1FHzD-_y_"
      },
      "outputs": [],
      "source": [
        "mpl.rcParams['figure.figsize'] = (12, 10)\n",
        "colors = plt.rcParams['axes.prop_cycle'].by_key()['color']"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Z3iZVjziKHmX"
      },
      "source": [
        "## データの処理と調査"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4sA9WOcmzH2D"
      },
      "source": [
        "### Kaggle Credit Card Fraud データセットをダウンロードする\n",
        "\n",
        "[Pandas](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.html#pandas.DataFrame) は、構造化データの読み込みと処理を支援するユーティリティが多数含まれる Python ライブラリです。Pandas を使用し、URL から CSV を Pandas [DataFrame](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.html#pandas.DataFrame) にダウンロードします。\n",
        "\n",
        "注意: このデータセットは、Worldline と ULB (Université Libre de Bruxelles) の[機械学習グループ](http://mlg.ulb.ac.be)によるビッグデータマイニングと不正検出に関する共同研究で収集および分析されたものです。関連トピックに関する現在および過去のプロジェクトの詳細は、[こちら](https://www.researchgate.net/project/Fraud-detection-5)と [DefeatFraud](https://mlg.ulb.ac.be/wordpress/portfolio_page/defeatfraud-assessment-and-validation-of-deep-feature-engineering-and-learning-solutions-for-fraud-detection/) プロジェクトのページをご覧ください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "pR_SnbMArXr7"
      },
      "outputs": [],
      "source": [
        "file = tf.keras.utils\n",
        "raw_df = pd.read_csv('https://storage.googleapis.com/download.tensorflow.org/data/creditcard.csv')\n",
        "raw_df.head()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "-fgdQgmwUFuj"
      },
      "outputs": [],
      "source": [
        "raw_df[['Time', 'V1', 'V2', 'V3', 'V4', 'V5', 'V26', 'V27', 'V28', 'Amount', 'Class']].describe()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "xWKB_CVZFLpB"
      },
      "source": [
        "### クラスラベルの不均衡を調べる\n",
        "\n",
        "データセットの不均衡を見てみましょう。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "HCJFrtuY2iLF"
      },
      "outputs": [],
      "source": [
        "neg, pos = np.bincount(raw_df['Class'])\n",
        "total = neg + pos\n",
        "print('Examples:\\n    Total: {}\\n    Positive: {} ({:.2f}% of total)\\n'.format(\n",
        "    total, pos, 100 * pos / total))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "KnLKFQDsCBUg"
      },
      "source": [
        "これは、陽性サンプルの割合が少ないことを示しています。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6qox6ryyzwdr"
      },
      "source": [
        "### データをクリーニング、分割、正規化する\n",
        "\n",
        "生データにはいくつかの問題があります。まず、`Time`カラムと`Amount`カラムはむらがあり過ぎてそのままでは使用できません。`Time`カラムは意味が明確ではないため削除し、`Amount`カラムのログを取って範囲を縮小します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "Ef42jTuxEjnj"
      },
      "outputs": [],
      "source": [
        "cleaned_df = raw_df.copy()\n",
        "\n",
        "# You don't want the `Time` column.\n",
        "cleaned_df.pop('Time')\n",
        "\n",
        "# The `Amount` column covers a huge range. Convert to log-space.\n",
        "eps = 0.001 # 0 => 0.1¢\n",
        "cleaned_df['Log Amount'] = np.log(cleaned_df.pop('Amount')+eps)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "uSNgdQFFFQ6u"
      },
      "source": [
        "データセットをトレーニングセット、検証セット、テストセットに分割します。検証セットはモデルを適合させる間に使用され、損失とメトリクスを評価しますが、モデルはこのデータに適合しません。テストセットはトレーニング段階では全く使用されず、モデルがどの程度新しいデータを一般化したかを評価するために最後にだけ使用されます。これはトレーニングデータ不足による[過学習](https://developers.google.com/machine-learning/crash-course/generalization/peril-of-overfitting)が重大な懸念事項である不均衡データセットでは特に重要です。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "xfxhKg7Yr1-b"
      },
      "outputs": [],
      "source": [
        "# Use a utility from sklearn to split and shuffle your dataset.\n",
        "train_df, test_df = train_test_split(cleaned_df, test_size=0.2)\n",
        "train_df, val_df = train_test_split(train_df, test_size=0.2)\n",
        "\n",
        "# Form np arrays of labels and features.\n",
        "train_labels = np.array(train_df.pop('Class'))\n",
        "bool_train_labels = train_labels != 0\n",
        "val_labels = np.array(val_df.pop('Class'))\n",
        "test_labels = np.array(test_df.pop('Class'))\n",
        "\n",
        "train_features = np.array(train_df)\n",
        "val_features = np.array(val_df)\n",
        "test_features = np.array(test_df)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "8a_Z_kBmr7Oh"
      },
      "source": [
        "sklearn の StandardScaler を使用して入力特徴を正規化します。これで平均は 0、標準偏差は 1 に設定されます。\n",
        "\n",
        "注意: `StandardScaler`は`train_features`を使用する場合にのみ適合し、モデルが検証セットやテストセットでピークを迎えることがないようにします。 "
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "IO-qEUmJ5JQg"
      },
      "outputs": [],
      "source": [
        "scaler = StandardScaler()\n",
        "train_features = scaler.fit_transform(train_features)\n",
        "\n",
        "val_features = scaler.transform(val_features)\n",
        "test_features = scaler.transform(test_features)\n",
        "\n",
        "train_features = np.clip(train_features, -5, 5)\n",
        "val_features = np.clip(val_features, -5, 5)\n",
        "test_features = np.clip(test_features, -5, 5)\n",
        "\n",
        "\n",
        "print('Training labels shape:', train_labels.shape)\n",
        "print('Validation labels shape:', val_labels.shape)\n",
        "print('Test labels shape:', test_labels.shape)\n",
        "\n",
        "print('Training features shape:', train_features.shape)\n",
        "print('Validation features shape:', val_features.shape)\n",
        "print('Test features shape:', test_features.shape)\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "XF2nNfWKJ33w"
      },
      "source": [
        "警告: モデルをデプロイする場合には、前処理の計算を保存することが非常に重要です。最も簡単なのは、それらをレイヤーとして実装し、エクスポート前にモデルに加える方法です。\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "uQ7m9nqDC3W6"
      },
      "source": [
        "### データ分散を確認する\n",
        "\n",
        "次に、いくつかの特徴における陽性の例と陰性の例の分散を比較します。 この時点で自問すべき点は、次のとおりです。\n",
        "\n",
        "- それらの分散には意味がありますか？\n",
        "    - はい。入力を正規化したので、ほとんどが`+/- 2`の範囲内に集中しています。\n",
        "- 分散間の差は見られますか？\n",
        "    - はい。陽性の例には、はるかに高い極値が含まれています。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "raK7hyjd_vf6"
      },
      "outputs": [],
      "source": [
        "pos_df = pd.DataFrame(train_features[ bool_train_labels], columns=train_df.columns)\n",
        "neg_df = pd.DataFrame(train_features[~bool_train_labels], columns=train_df.columns)\n",
        "\n",
        "sns.jointplot(x=pos_df['V5'], y=pos_df['V6'],\n",
        "              kind='hex', xlim=(-5,5), ylim=(-5,5))\n",
        "plt.suptitle(\"Positive distribution\")\n",
        "\n",
        "sns.jointplot(x=neg_df['V5'], y=neg_df['V6'],\n",
        "              kind='hex', xlim=(-5,5), ylim=(-5,5))\n",
        "_ = plt.suptitle(\"Negative distribution\")"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qFK1u4JX16D8"
      },
      "source": [
        "## モデルとメトリクスを定義する\n",
        "\n",
        "密に接続された非表示レイヤー、過学習を防ぐ[ドロップアウト](https://developers.google.com/machine-learning/glossary/#dropout_regularization)レイヤー、取引が不正である確率を返す出力シグモイドレイヤーを持つ単純なニューラルネットワークを作成する関数を定義します。 "
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "3JQDzUqT3UYG"
      },
      "outputs": [],
      "source": [
        "METRICS = [\n",
        "      keras.metrics.TruePositives(name='tp'),\n",
        "      keras.metrics.FalsePositives(name='fp'),\n",
        "      keras.metrics.TrueNegatives(name='tn'),\n",
        "      keras.metrics.FalseNegatives(name='fn'), \n",
        "      keras.metrics.BinaryAccuracy(name='accuracy'),\n",
        "      keras.metrics.Precision(name='precision'),\n",
        "      keras.metrics.Recall(name='recall'),\n",
        "      keras.metrics.AUC(name='auc'),\n",
        "      keras.metrics.AUC(name='prc', curve='PR'), # precision-recall curve\n",
        "]\n",
        "\n",
        "def make_model(metrics=METRICS, output_bias=None):\n",
        "  if output_bias is not None:\n",
        "    output_bias = tf.keras.initializers.Constant(output_bias)\n",
        "  model = keras.Sequential([\n",
        "      keras.layers.Dense(\n",
        "          16, activation='relu',\n",
        "          input_shape=(train_features.shape[-1],)),\n",
        "      keras.layers.Dropout(0.5),\n",
        "      keras.layers.Dense(1, activation='sigmoid',\n",
        "                         bias_initializer=output_bias),\n",
        "  ])\n",
        "\n",
        "  model.compile(\n",
        "      optimizer=keras.optimizers.Adam(learning_rate=1e-3),\n",
        "      loss=keras.losses.BinaryCrossentropy(),\n",
        "      metrics=metrics)\n",
        "\n",
        "  return model"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "SU0GX6E6mieP"
      },
      "source": [
        "### 有用なメトリクスを理解する\n",
        "\n",
        "上記で定義したメトリクスのいくつかは、モデルで計算できるため、パフォーマンス評価の際に有用なことに着目してください。\n",
        "\n",
        "- **偽**陰性と**偽**陽性は**誤って**分類されたサンプルです。\n",
        "- **真**陰性と**真**陽性は**正しく**分類されたサンプルです。\n",
        "- **正解率**は正しく分類された例の割合です。\n",
        "\n",
        "> $\\frac{\\text{true samples}}{\\text{total samples}}$\n",
        "\n",
        "- **適合率**は正しく分類された**予測**陽性の割合です。\n",
        "\n",
        "> $\\frac{\\text{true positives}}{\\text{true positives + false positives}}$\n",
        "\n",
        "- **再現率**は正しく分類された**実際の**陽性の割合です。\n",
        "\n",
        "> $\\frac{\\text{true positives}}{\\text{true positives + false negatives}}$\n",
        "\n",
        "- **AUC** は受信者動作特性曲線 (ROC-AUC) の曲線下の面積を指します。この指標は、分類器がランダムな正のサンプルをランダムな負のサンプルよりも高くランク付けする確率に等しくなります。\n",
        "- **AUPRC** は適合率-再現率曲線の曲線下の面積を指します。この指標は、さまざまな確率しきい値の適合率と再現率のペアを計算します。\n",
        "\n",
        "注意: 精度は、このタスクに役立つ指標ではありません。常に False を予測することで、このタスクの精度を 99.8％ 以上にすることができるからです。\n",
        "\n",
        "詳細は以下を参照してください。\n",
        "\n",
        "- [真陽性、偽陽性、偽陰性、真陰性](https://developers.google.com/machine-learning/crash-course/classification/true-false-positive-negative)\n",
        "- [正解度](https://developers.google.com/machine-learning/crash-course/classification/accuracy)\n",
        "- [適合率と再現率](https://developers.google.com/machine-learning/crash-course/classification/precision-and-recall)\n",
        "- [ROC-AUC](https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc)\n",
        "- [適合率-再現率と ROC 曲線の関係](https://www.biostat.wisc.edu/~page/rocpr.pdf)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FYdhSAoaF_TK"
      },
      "source": [
        "## ベースラインモデル"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "IDbltVPg2m2q"
      },
      "source": [
        "### モデルを構築する\n",
        "\n",
        "次に、前に定義した関数を使用してモデルを作成し、トレーニングします。モデルはデフォルトよりも大きいバッチサイズ 2048 を使って適合されていることに注目してください。これは、各バッチに必ずいくつかの陽性サンプルが含まれるようにするために重要です。もし、バッチサイズが小さすぎると、学習できる不正取引が全くないという可能性があります。\n",
        "\n",
        "注意: このモデルはクラスの不均衡をうまく処理できません。後ほどこのチュートリアル内で改善します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "ouUkwPcGQsy3"
      },
      "outputs": [],
      "source": [
        "EPOCHS = 100\n",
        "BATCH_SIZE = 2048\n",
        "\n",
        "early_stopping = tf.keras.callbacks.EarlyStopping(\n",
        "    monitor='val_prc', \n",
        "    verbose=1,\n",
        "    patience=10,\n",
        "    mode='max',\n",
        "    restore_best_weights=True)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "1xlR_dekzw7C"
      },
      "outputs": [],
      "source": [
        "model = make_model()\n",
        "model.summary()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Wx7ND3_SqckO"
      },
      "source": [
        "モデルをテスト実行します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "LopSd-yQqO3a"
      },
      "outputs": [],
      "source": [
        "model.predict(train_features[:10])"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "YKIgWqHms_03"
      },
      "source": [
        "### オプション: 正しい初期バイアスを設定する"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qk_3Ry6EoYDq"
      },
      "source": [
        "これら初期の推測はあまり良いとは言えません。データセットは不均衡であることが分かっています。それを反映できるように、出力レイヤーのバイアスを設定します。（参照: [ニューラルネットワークのトレーニングのレシピ: 「init well」](http://karpathy.github.io/2019/04/25/recipe/#2-set-up-the-end-to-end-trainingevaluation-skeleton--get-dumb-baselines)）これは初期収束に有用です。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PdbfWDuVpo6k"
      },
      "source": [
        "デフォルトのバイアス初期化では、損失は`math.log(2) = 0.69314`程度になります。 "
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "H-oPqh3SoGXk"
      },
      "outputs": [],
      "source": [
        "results = model.evaluate(train_features, train_labels, batch_size=BATCH_SIZE, verbose=0)\n",
        "print(\"Loss: {:0.4f}\".format(results[0]))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hE-JRzfKqfhB"
      },
      "source": [
        "設定する正しいバイアスは、以下から導き出すことができます。\n",
        "\n",
        "$$ p_0 = pos/(pos + neg) = 1/(1+e^{-b_0}) $$ $$ b_0 = -log_e(1/p_0 - 1) $$ $$ b_0 = log_e(pos/neg)$$"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "F5KWPSjjstUS"
      },
      "outputs": [],
      "source": [
        "initial_bias = np.log([pos/neg])\n",
        "initial_bias"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "d1juXI9yY1KD"
      },
      "source": [
        "それを初期バイアスとして設定すると、モデルははるかに合理的な初期推測ができるようになります。\n",
        "\n",
        "これは`pos/total = 0.0018`に近い値になるはずです。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "50oyu1uss0i-"
      },
      "outputs": [],
      "source": [
        "model = make_model(output_bias=initial_bias)\n",
        "model.predict(train_features[:10])"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4xqFYb2KqRHQ"
      },
      "source": [
        "この初期化では、初期損失はおおよそ次のようになります。\n",
        "\n",
        "$$-p_0log(p_0)-(1-p_0)log(1-p_0) = 0.01317$$"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "xVDqCWXDqHSc"
      },
      "outputs": [],
      "source": [
        "results = model.evaluate(train_features, train_labels, batch_size=BATCH_SIZE, verbose=0)\n",
        "print(\"Loss: {:0.4f}\".format(results[0]))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FrDC8hvNr9yw"
      },
      "source": [
        "この初期の損失は、単純な初期化を行った場合の約 50 分の 1 です。\n",
        "\n",
        "この方法だと、陽性の例がないことを学習するだけのためにモデルが最初の数エポックを費やす必要がありません。また、これによって、トレーニング中の損失のプロットが読みやすくなります。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "0EJj9ixKVBMT"
      },
      "source": [
        "### 初期の重みをチェックポイントする\n",
        "\n",
        "さまざまなトレーニングの実行を比較しやすくするために、この初期モデルの重みをチェックポイントファイルに保持し、トレーニングの前に各モデルにロードします。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "_tSUm4yAVIif"
      },
      "outputs": [],
      "source": [
        "initial_weights = os.path.join(tempfile.mkdtemp(), 'initial_weights')\n",
        "model.save_weights(initial_weights)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "EVXiLyqyZ8AX"
      },
      "source": [
        "### バイアス修正が有効であることを確認する\n",
        "\n",
        "先に進む前に、慎重なバイアス初期化が実際に役立ったかどうかを素早く確認します。\n",
        "\n",
        "この慎重な初期化を行った場合と行わなかった場合でモデルを 20 エポックトレーニングしてから損失を比較します。 "
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "Dm4-4K5RZ63Q"
      },
      "outputs": [],
      "source": [
        "model = make_model()\n",
        "model.load_weights(initial_weights)\n",
        "model.layers[-1].bias.assign([0.0])\n",
        "zero_bias_history = model.fit(\n",
        "    train_features,\n",
        "    train_labels,\n",
        "    batch_size=BATCH_SIZE,\n",
        "    epochs=20,\n",
        "    validation_data=(val_features, val_labels), \n",
        "    verbose=0)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "j8DsLXHQaSql"
      },
      "outputs": [],
      "source": [
        "model = make_model()\n",
        "model.load_weights(initial_weights)\n",
        "careful_bias_history = model.fit(\n",
        "    train_features,\n",
        "    train_labels,\n",
        "    batch_size=BATCH_SIZE,\n",
        "    epochs=20,\n",
        "    validation_data=(val_features, val_labels), \n",
        "    verbose=0)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "E3XsMBjhauFV"
      },
      "outputs": [],
      "source": [
        "def plot_loss(history, label, n):\n",
        "  # Use a log scale on y-axis to show the wide range of values.\n",
        "  plt.semilogy(history.epoch, history.history['loss'],\n",
        "               color=colors[n], label='Train ' + label)\n",
        "  plt.semilogy(history.epoch, history.history['val_loss'],\n",
        "               color=colors[n], label='Val ' + label,\n",
        "               linestyle=\"--\")\n",
        "  plt.xlabel('Epoch')\n",
        "  plt.ylabel('Loss')"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "dxFaskm7beC7"
      },
      "outputs": [],
      "source": [
        "plot_loss(zero_bias_history, \"Zero Bias\", 0)\n",
        "plot_loss(careful_bias_history, \"Careful Bias\", 1)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "fKMioV0ddG3R"
      },
      "source": [
        "上の図を見れば一目瞭然ですが、検証損失に関しては、この問題ではこのように慎重に初期化することによって、明確なアドバンテージを得ることができます。 "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "RsA_7SEntRaV"
      },
      "source": [
        "### モデルをトレーニングする"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "yZKAc8NCDnoR"
      },
      "outputs": [],
      "source": [
        "model = make_model()\n",
        "model.load_weights(initial_weights)\n",
        "baseline_history = model.fit(\n",
        "    train_features,\n",
        "    train_labels,\n",
        "    batch_size=BATCH_SIZE,\n",
        "    epochs=EPOCHS,\n",
        "    callbacks=[early_stopping],\n",
        "    validation_data=(val_features, val_labels))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "iSaDBYU9xtP6"
      },
      "source": [
        "### トレーニング履歴を確認する\n",
        "\n",
        "このセクションでは、トレーニングと検証のセットでモデルの精度と損失のプロットを作成します。これらは、過適合をチェックするのに役立ちます。詳細については、[過適合と学習不足](https://www.tensorflow.org/tutorials/keras/overfit_and_underfit)チュートリアルを参照してください。\n",
        "\n",
        "さらに、上で作成した任意のメトリクスのプロットを作成することができます。 例として、下記には偽陰性が含まれています。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "WTSkhT1jyGu6"
      },
      "outputs": [],
      "source": [
        "def plot_metrics(history):\n",
        "  metrics = ['loss', 'prc', 'precision', 'recall']\n",
        "  for n, metric in enumerate(metrics):\n",
        "    name = metric.replace(\"_\",\" \").capitalize()\n",
        "    plt.subplot(2,2,n+1)\n",
        "    plt.plot(history.epoch, history.history[metric], color=colors[0], label='Train')\n",
        "    plt.plot(history.epoch, history.history['val_'+metric],\n",
        "             color=colors[0], linestyle=\"--\", label='Val')\n",
        "    plt.xlabel('Epoch')\n",
        "    plt.ylabel(name)\n",
        "    if metric == 'loss':\n",
        "      plt.ylim([0, plt.ylim()[1]])\n",
        "    elif metric == 'auc':\n",
        "      plt.ylim([0.8,1])\n",
        "    else:\n",
        "      plt.ylim([0,1])\n",
        "\n",
        "    plt.legend()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "u6LReDsqlZlk"
      },
      "outputs": [],
      "source": [
        "plot_metrics(baseline_history)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "UCa4iWo6WDKR"
      },
      "source": [
        "注意: 一般的に、検証曲線はトレーニング曲線よりも優れています。 これは主に、モデルを評価する際にドロップアウトレイヤーがアクティブでないということに起因します。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "aJC1booryouo"
      },
      "source": [
        "### メトリクスを評価する\n",
        "\n",
        "[混同行列](https://developers.google.com/machine-learning/glossary/#confusion_matrix)を使用して、実際のラベルと予測されたラベルを要約できます。ここで、X 軸は予測されたラベルであり、Y 軸は実際のラベルです。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "aNS796IJKrev"
      },
      "outputs": [],
      "source": [
        "train_predictions_baseline = model.predict(train_features, batch_size=BATCH_SIZE)\n",
        "test_predictions_baseline = model.predict(test_features, batch_size=BATCH_SIZE)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "MVWBGfADwbWI"
      },
      "outputs": [],
      "source": [
        "def plot_cm(labels, predictions, p=0.5):\n",
        "  cm = confusion_matrix(labels, predictions > p)\n",
        "  plt.figure(figsize=(5,5))\n",
        "  sns.heatmap(cm, annot=True, fmt=\"d\")\n",
        "  plt.title('Confusion matrix @{:.2f}'.format(p))\n",
        "  plt.ylabel('Actual label')\n",
        "  plt.xlabel('Predicted label')\n",
        "\n",
        "  print('Legitimate Transactions Detected (True Negatives): ', cm[0][0])\n",
        "  print('Legitimate Transactions Incorrectly Detected (False Positives): ', cm[0][1])\n",
        "  print('Fraudulent Transactions Missed (False Negatives): ', cm[1][0])\n",
        "  print('Fraudulent Transactions Detected (True Positives): ', cm[1][1])\n",
        "  print('Total Fraudulent Transactions: ', np.sum(cm[1]))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "nOTjD5Z5Wp1U"
      },
      "source": [
        "テストデータセットでモデルを評価し、上記で作成した行列の結果を表示します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "poh_hZngt2_9"
      },
      "outputs": [],
      "source": [
        "baseline_results = model.evaluate(test_features, test_labels,\n",
        "                                  batch_size=BATCH_SIZE, verbose=0)\n",
        "for name, value in zip(model.metrics_names, baseline_results):\n",
        "  print(name, ': ', value)\n",
        "print()\n",
        "\n",
        "plot_cm(test_labels, test_predictions_baseline)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PyZtSr1v6L4t"
      },
      "source": [
        "モデルがすべてを完璧に予測した場合は、これは[対角行列](https://en.wikipedia.org/wiki/Diagonal_matrix)になり、主な対角線から外れた値が不正確な予測を示してゼロになります。 この場合、行列は偽陽性が比較的少ないことを示し、これは誤ってフラグが立てられた正当な取引が比較的少ないことを意味します。 しかし、偽陽性の数が増えればコストがかかる可能性はありますが、偽陰性の数はさらに少なくした方が良いでしょう。偽陽性は顧客にカード利用履歴の確認を求めるメールを送信する可能性があるのに対し、偽陰性は不正な取引を成立させてしまう可能性があるため、このトレードオフはむしろ望ましいといえます。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "P-QpQsip_F2Q"
      },
      "source": [
        "### ROC をプロットする\n",
        "\n",
        "次に、[ROC](https://developers.google.com/machine-learning/glossary#ROC) をプロットします。このプロットは、出力しきい値を調整するだけでモデルが到達できるパフォーマンス範囲が一目で分かるので有用です。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "lhaxsLSvANF9"
      },
      "outputs": [],
      "source": [
        "def plot_roc(name, labels, predictions, **kwargs):\n",
        "  fp, tp, _ = sklearn.metrics.roc_curve(labels, predictions)\n",
        "\n",
        "  plt.plot(100*fp, 100*tp, label=name, linewidth=2, **kwargs)\n",
        "  plt.xlabel('False positives [%]')\n",
        "  plt.ylabel('True positives [%]')\n",
        "  plt.xlim([-0.5,20])\n",
        "  plt.ylim([80,100.5])\n",
        "  plt.grid(True)\n",
        "  ax = plt.gca()\n",
        "  ax.set_aspect('equal')"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "DfHHspttKJE0"
      },
      "outputs": [],
      "source": [
        "plot_roc(\"Train Baseline\", train_labels, train_predictions_baseline, color=colors[0])\n",
        "plot_roc(\"Test Baseline\", test_labels, test_predictions_baseline, color=colors[0], linestyle='--')\n",
        "plt.legend(loc='lower right');"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Y5twGRLfNwmO"
      },
      "source": [
        "### AUPRC をプロットする\n",
        "\n",
        "[AUPRC](https://developers.google.com/machine-learning/glossary?hl=en#PR_AUC) をプロットします。補間された適合率-再現率曲線の下の領域は、分類しきい値のさまざまな値に対して（再現率、適合率）点をプロットすることにより取得できます。計算方法によっては、PR AUC はモデルの平均適合率と同等になる場合があります。\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "XV6JSlFGEqGI"
      },
      "outputs": [],
      "source": [
        "def plot_prc(name, labels, predictions, **kwargs):\r\n",
        "    precision, recall, _ = sklearn.metrics.precision_recall_curve(labels, predictions)\r\n",
        "\r\n",
        "    plt.plot(precision, recall, label=name, linewidth=2, **kwargs)\r\n",
        "    plt.xlabel('Precision')\r\n",
        "    plt.ylabel('Recall')\r\n",
        "    plt.grid(True)\r\n",
        "    ax = plt.gca()\r\n",
        "    ax.set_aspect('equal')"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "FdQs_PcqEsiL"
      },
      "outputs": [],
      "source": [
        "plot_prc(\"Train Baseline\", train_labels, train_predictions_baseline, color=colors[0])\r\n",
        "plot_prc(\"Test Baseline\", test_labels, test_predictions_baseline, color=colors[0], linestyle='--')\r\n",
        "plt.legend(loc='lower right');"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "gpdsFyp64DhY"
      },
      "source": [
        "適合率は比較的高いように見えますが、再現率と ROC 曲線の下の曲線下面積 (AUC) は、期待するほど高いものではありません。適合率と再現率の両方を最大化しようとすると、分類器はしばしば課題に直面します。不均衡データセットを扱う場合は特にそうです。大切な問題のコンテキストでは異なるタイプのエラーにかかるコストを考慮することが重要です。 この例では、偽陰性（不正な取引が見逃されている）は金銭的コストを伴う可能性がある一方で、偽陽性（取引が不正であると誤ってフラグが立てられている）はユーザーの幸福度を低下させる可能性があります。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "cveQoiMyGQCo"
      },
      "source": [
        "## クラスの重み"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ePGp6GUE1WfH"
      },
      "source": [
        "### クラスの重みを計算する\n",
        "\n",
        "最終目的は不正な取引を特定することですが、処理する陽性サンプルがそれほど多くないので、利用可能な数少ない例の分類器に大きな重み付けをします。 これを行うには、パラメータを介して各クラスの重みを Keras に渡します。 これにより、モデルは十分に表現されていないクラスの例にも「より注意を払う」ようになります。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "qjGWErngGny7"
      },
      "outputs": [],
      "source": [
        "# Scaling by total/2 helps keep the loss to a similar magnitude.\n",
        "# The sum of the weights of all examples stays the same.\n",
        "weight_for_0 = (1 / neg) * (total / 2.0)\n",
        "weight_for_1 = (1 / pos) * (total / 2.0)\n",
        "\n",
        "class_weight = {0: weight_for_0, 1: weight_for_1}\n",
        "\n",
        "print('Weight for class 0: {:.2f}'.format(weight_for_0))\n",
        "print('Weight for class 1: {:.2f}'.format(weight_for_1))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Mk1OOE2ZSHzy"
      },
      "source": [
        "### クラスの重みでモデルをトレーニングする\n",
        "\n",
        "次に、クラスの重みでモデルを再トレーニングして評価し、それが予測にどのように影響するかを確認します。\n",
        "\n",
        "注意: `class_weights` を使用すると、損失の範囲が変更されます。オプティマイザにもよりますが、これはトレーニングの安定性に影響を与える可能性があります。`tf.keras.optimizers.SGD` のように、ステップサイズが勾配の大きさに依存するオプティマイザは失敗する可能性があります。ここで使用されているオプティマイザ `tf.keras.optimizers.Adam` は、スケーリングの変更による影響を受けません。また、重み付けのため、総損失は 2 つのモデル間で比較できないことに注意してください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "UJ589fn8ST3x"
      },
      "outputs": [],
      "source": [
        "weighted_model = make_model()\n",
        "weighted_model.load_weights(initial_weights)\n",
        "\n",
        "weighted_history = weighted_model.fit(\n",
        "    train_features,\n",
        "    train_labels,\n",
        "    batch_size=BATCH_SIZE,\n",
        "    epochs=EPOCHS,\n",
        "    callbacks=[early_stopping],\n",
        "    validation_data=(val_features, val_labels),\n",
        "    # The class weights go here\n",
        "    class_weight=class_weight) "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "R0ynYRO0G3Lx"
      },
      "source": [
        "### トレーニング履歴を確認する"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "BBe9FMO5ucTC"
      },
      "outputs": [],
      "source": [
        "plot_metrics(weighted_history)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "REy6WClTZIwQ"
      },
      "source": [
        "### メトリクスを評価する"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "nifqscPGw-5w"
      },
      "outputs": [],
      "source": [
        "train_predictions_weighted = weighted_model.predict(train_features, batch_size=BATCH_SIZE)\n",
        "test_predictions_weighted = weighted_model.predict(test_features, batch_size=BATCH_SIZE)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "owKL2vdMBJr6"
      },
      "outputs": [],
      "source": [
        "weighted_results = weighted_model.evaluate(test_features, test_labels,\n",
        "                                           batch_size=BATCH_SIZE, verbose=0)\n",
        "for name, value in zip(weighted_model.metrics_names, weighted_results):\n",
        "  print(name, ': ', value)\n",
        "print()\n",
        "\n",
        "plot_cm(test_labels, test_predictions_weighted)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PTh1rtDn8r4-"
      },
      "source": [
        "ここでは、クラスの重みを使用すると偽陽性が多くなるため、正解率と適合率が低くなりますが、逆にモデルがより多くの真陽性を検出したため、再現率と AUC が高くなっていることが分かります。このモデルは正解率は低いものの、再現率が高くなるので、より多くの不正取引を特定します。もちろん、両タイプのエラーにはコストがかかります。（あまりにも多くの正当な取引を不正取引としてフラグを立ててユーザーに迷惑をかけたくはないはずです。）アプリケーションのこういった異なるタイプのエラー間のトレードオフは、慎重に検討してください"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hXDAwyr0HYdX"
      },
      "source": [
        "### ROC をプロットする"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "3hzScIVZS1Xm"
      },
      "outputs": [],
      "source": [
        "plot_roc(\"Train Baseline\", train_labels, train_predictions_baseline, color=colors[0])\n",
        "plot_roc(\"Test Baseline\", test_labels, test_predictions_baseline, color=colors[0], linestyle='--')\n",
        "\n",
        "plot_roc(\"Train Weighted\", train_labels, train_predictions_weighted, color=colors[1])\n",
        "plot_roc(\"Test Weighted\", test_labels, test_predictions_weighted, color=colors[1], linestyle='--')\n",
        "\n",
        "\n",
        "plt.legend(loc='lower right');"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_0krS8g1OTbD"
      },
      "source": [
        "### AUPRC をプロットする"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "7jHnmVebOWOC"
      },
      "outputs": [],
      "source": [
        "plot_prc(\"Train Baseline\", train_labels, train_predictions_baseline, color=colors[0])\r\n",
        "plot_prc(\"Test Baseline\", test_labels, test_predictions_baseline, color=colors[0], linestyle='--')\r\n",
        "\r\n",
        "plot_prc(\"Train Weighted\", train_labels, train_predictions_weighted, color=colors[1])\r\n",
        "plot_prc(\"Test Weighted\", test_labels, test_predictions_weighted, color=colors[1], linestyle='--')\r\n",
        "\r\n",
        "\r\n",
        "plt.legend(loc='lower right');"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "5ysRtr6xHnXP"
      },
      "source": [
        "## オーバーサンプリング"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "18VUHNc-UF5w"
      },
      "source": [
        "### マイノリティクラスをオーバーサンプリングする\n",
        "\n",
        "関連したアプローチとして、マイノリティクラスをオーバーサンプリングしてデータセットを再サンプルするという方法があります。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "sHirNp6u7OWp"
      },
      "outputs": [],
      "source": [
        "pos_features = train_features[bool_train_labels]\n",
        "neg_features = train_features[~bool_train_labels]\n",
        "\n",
        "pos_labels = train_labels[bool_train_labels]\n",
        "neg_labels = train_labels[~bool_train_labels]"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "WgBVbX7P7QrL"
      },
      "source": [
        "#### NumPy を使用する\n",
        "\n",
        "陽性の例から適切な数のランダムインデックスを選択して、手動でデータセットのバランスをとることができます。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "BUzGjSkwqT88"
      },
      "outputs": [],
      "source": [
        "ids = np.arange(len(pos_features))\n",
        "choices = np.random.choice(ids, len(neg_features))\n",
        "\n",
        "res_pos_features = pos_features[choices]\n",
        "res_pos_labels = pos_labels[choices]\n",
        "\n",
        "res_pos_features.shape"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "7ie_FFet6cep"
      },
      "outputs": [],
      "source": [
        "resampled_features = np.concatenate([res_pos_features, neg_features], axis=0)\n",
        "resampled_labels = np.concatenate([res_pos_labels, neg_labels], axis=0)\n",
        "\n",
        "order = np.arange(len(resampled_labels))\n",
        "np.random.shuffle(order)\n",
        "resampled_features = resampled_features[order]\n",
        "resampled_labels = resampled_labels[order]\n",
        "\n",
        "resampled_features.shape"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "IYfJe2Kc-FAz"
      },
      "source": [
        "#### `tf.data`を使用する"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "usyixaST8v5P"
      },
      "source": [
        "もし`tf.data`を使用している場合、バランスの取れた例を作成する最も簡単な方法は、`positive`と`negative`のデータセットから開始し、それらをマージすることです。その他の例については、[tf.data ガイド](../../guide/data.ipynb)をご覧ください。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "yF4OZ-rI6xb6"
      },
      "outputs": [],
      "source": [
        "BUFFER_SIZE = 100000\n",
        "\n",
        "def make_ds(features, labels):\n",
        "  ds = tf.data.Dataset.from_tensor_slices((features, labels))#.cache()\n",
        "  ds = ds.shuffle(BUFFER_SIZE).repeat()\n",
        "  return ds\n",
        "\n",
        "pos_ds = make_ds(pos_features, pos_labels)\n",
        "neg_ds = make_ds(neg_features, neg_labels)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "RNQUx-OA-oJc"
      },
      "source": [
        "各データセットは`(feature, label)`のペアを提供します。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "llXc9rNH7Fbz"
      },
      "outputs": [],
      "source": [
        "for features, label in pos_ds.take(1):\n",
        "  print(\"Features:\\n\", features.numpy())\n",
        "  print()\n",
        "  print(\"Label: \", label.numpy())"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "sLEfjZO0-vbN"
      },
      "source": [
        "`tf.data.Dataset.sample_from_datasets` を使用し、この 2 つをマージします。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "e7w9UQPT9wzE"
      },
      "outputs": [],
      "source": [
        "resampled_ds = tf.data.Dataset.sample_from_datasets([pos_ds, neg_ds], weights=[0.5, 0.5])\n",
        "resampled_ds = resampled_ds.batch(BATCH_SIZE).prefetch(2)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "EWXARdTdAuQK"
      },
      "outputs": [],
      "source": [
        "for features, label in resampled_ds.take(1):\n",
        "  print(label.numpy().mean())"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "irgqf3YxAyN0"
      },
      "source": [
        "このデータセットを使用するには、エポックごとのステップ数が必要です。\n",
        "\n",
        "この場合の「エポック」の定義はあまり明確ではありません。それぞれの陰性の例を 1 度見るのに必要なバッチ数だとしましょう。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "xH-7K46AAxpq"
      },
      "outputs": [],
      "source": [
        "resampled_steps_per_epoch = np.ceil(2.0*neg/BATCH_SIZE)\n",
        "resampled_steps_per_epoch"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "XZ1BvEpcBVHP"
      },
      "source": [
        "### オーバーサンプリングデータをトレーニングする\n",
        "\n",
        "ここで、クラスの重みを使用する代わりに、再サンプルされたデータセットを使用してモデルをトレーニングし、それらの手法がどう比較されるかを確認してみましょう。\n",
        "\n",
        "注意: 陽性の例を複製することでデータのバランスをとっているため、データセットの総サイズは大きくなり、各エポックではより多くのトレーニングステップが実行されます。 "
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "soRQ89JYqd6b"
      },
      "outputs": [],
      "source": [
        "resampled_model = make_model()\n",
        "resampled_model.load_weights(initial_weights)\n",
        "\n",
        "# Reset the bias to zero, since this dataset is balanced.\n",
        "output_layer = resampled_model.layers[-1] \n",
        "output_layer.bias.assign([0])\n",
        "\n",
        "val_ds = tf.data.Dataset.from_tensor_slices((val_features, val_labels)).cache()\n",
        "val_ds = val_ds.batch(BATCH_SIZE).prefetch(2) \n",
        "\n",
        "resampled_history = resampled_model.fit(\n",
        "    resampled_ds,\n",
        "    epochs=EPOCHS,\n",
        "    steps_per_epoch=resampled_steps_per_epoch,\n",
        "    callbacks=[early_stopping],\n",
        "    validation_data=val_ds)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "avALvzUp3T_c"
      },
      "source": [
        "トレーニングプロセスが勾配の更新ごとにデータセット全体を考慮する場合は、このオーバーサンプリングは基本的にクラスの重み付けと同じになります。\n",
        "\n",
        "しかし、ここで行ったようにバッチ単位でモデルをトレーニングする場合、オーバーサンプリングされたデータはより滑らかな勾配信号を提供します。それぞれの陽性の例を大きな重みを持つ 1 つのバッチで表示する代わりに、毎回小さな重みを持つ多くの異なるバッチで表示します。\n",
        "\n",
        "このような滑らかな勾配信号は、モデルのトレーニングを容易にします。"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "klHZ0HV76VC5"
      },
      "source": [
        "### トレーニング履歴を確認する\n",
        "\n",
        "トレーニングデータは検証データやテストデータとは全く異なる分散を持つため、ここでのメトリクスの分散は異なることに注意してください。 "
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "YoUGfr1vuivl"
      },
      "outputs": [],
      "source": [
        "plot_metrics(resampled_history)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1PuH3A2vnwrh"
      },
      "source": [
        "### 再トレーニングする\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "KFLxRL8eoDE5"
      },
      "source": [
        "バランスの取れたデータの方がトレーニングしやすいため、上記のトレーニング方法ではすぐに過学習してしまう可能性があります。\n",
        "\n",
        "したがって、エポックを分割して、`tf.keras.callbacks.EarlyStopping` がトレーニングを停止するタイミングをより細かく制御できるようにします。"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "e_yn9I26qAHU"
      },
      "outputs": [],
      "source": [
        "resampled_model = make_model()\n",
        "resampled_model.load_weights(initial_weights)\n",
        "\n",
        "# Reset the bias to zero, since this dataset is balanced.\n",
        "output_layer = resampled_model.layers[-1] \n",
        "output_layer.bias.assign([0])\n",
        "\n",
        "resampled_history = resampled_model.fit(\n",
        "    resampled_ds,\n",
        "    # These are not real epochs\n",
        "    steps_per_epoch=20,\n",
        "    epochs=10*EPOCHS,\n",
        "    callbacks=[early_stopping],\n",
        "    validation_data=(val_ds))"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "UuJYKv0gpBK1"
      },
      "source": [
        "### トレーニング履歴を再確認する"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "FMycrpJwn39w"
      },
      "outputs": [],
      "source": [
        "plot_metrics(resampled_history)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "bUuE5HOWZiwP"
      },
      "source": [
        "### メトリクスを評価する"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "C0fmHSgXxFdW"
      },
      "outputs": [],
      "source": [
        "train_predictions_resampled = resampled_model.predict(train_features, batch_size=BATCH_SIZE)\n",
        "test_predictions_resampled = resampled_model.predict(test_features, batch_size=BATCH_SIZE)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "FO0mMOYUDWFk"
      },
      "outputs": [],
      "source": [
        "resampled_results = resampled_model.evaluate(test_features, test_labels,\n",
        "                                             batch_size=BATCH_SIZE, verbose=0)\n",
        "for name, value in zip(resampled_model.metrics_names, resampled_results):\n",
        "  print(name, ': ', value)\n",
        "print()\n",
        "\n",
        "plot_cm(test_labels, test_predictions_resampled)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_xYozM1IIITq"
      },
      "source": [
        "### ROC をプロットする"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "fye_CiuYrZ1U"
      },
      "outputs": [],
      "source": [
        "plot_roc(\"Train Baseline\", train_labels, train_predictions_baseline, color=colors[0])\n",
        "plot_roc(\"Test Baseline\", test_labels, test_predictions_baseline, color=colors[0], linestyle='--')\n",
        "\n",
        "plot_roc(\"Train Weighted\", train_labels, train_predictions_weighted, color=colors[1])\n",
        "plot_roc(\"Test Weighted\", test_labels, test_predictions_weighted, color=colors[1], linestyle='--')\n",
        "\n",
        "plot_roc(\"Train Resampled\", train_labels, train_predictions_resampled, color=colors[2])\n",
        "plot_roc(\"Test Resampled\", test_labels, test_predictions_resampled, color=colors[2], linestyle='--')\n",
        "plt.legend(loc='lower right');"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vayGnv0VOe_v"
      },
      "source": [
        "### AUPRC をプロットする\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "wgWXQ8aeOhCZ"
      },
      "outputs": [],
      "source": [
        "plot_prc(\"Train Baseline\", train_labels, train_predictions_baseline, color=colors[0])\r\n",
        "plot_prc(\"Test Baseline\", test_labels, test_predictions_baseline, color=colors[0], linestyle='--')\r\n",
        "\r\n",
        "plot_prc(\"Train Weighted\", train_labels, train_predictions_weighted, color=colors[1])\r\n",
        "plot_prc(\"Test Weighted\", test_labels, test_predictions_weighted, color=colors[1], linestyle='--')\r\n",
        "\r\n",
        "plot_prc(\"Train Resampled\", train_labels, train_predictions_resampled, color=colors[2])\r\n",
        "plot_prc(\"Test Resampled\", test_labels, test_predictions_resampled, color=colors[2], linestyle='--')\r\n",
        "plt.legend(loc='lower right');"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "3o3f0ywl8uqW"
      },
      "source": [
        "## このチュートリアルを問題に応用する\n",
        "\n",
        "不均衡データの分類は、学習できるサンプルが非常に少ないため、本質的に難しい作業です。常に最初にデータから始め、できるだけ多くのサンプルを収集するよう最善を尽くし、モデルがマイノリティクラスを最大限に活用するのに適切な特徴はどれかを十分に検討する必要があります。ある時点では、モデルがなかなか改善せず望む結果をうまく生成できないことがあるので、問題のコンテキストおよび異なるタイプのエラー間のトレードオフを考慮することが重要です。"
      ]
    }
  ],
  "metadata": {
    "colab": {
      "collapsed_sections": [],
      "name": "imbalanced_data.ipynb",
      "toc_visible": true
    },
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}