ex07notebookB.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "toc_visible": true,
      "authorship_tag": "ABX9TyPb6AGNepV8F4kONOGAh6Fm",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/takatakamanbou/MVA/blob/2023/ex07notebookB.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# MVA2023 ex07notebookB\n",
        "\n",
        "<img width=64 src=\"https://www-tlab.math.ryukoku.ac.jp/~takataka/course/MVA/MVA-logo.png\"> https://www-tlab.math.ryukoku.ac.jp/wiki/?MVA/2023"
      ],
      "metadata": {
        "id": "P4preLw7SzqH"
      }
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "I226xIKJbqtM"
      },
      "source": [
        "# 必要なパッケージのインポート\n",
        "import numpy as np\n",
        "import matplotlib.pyplot as plt\n",
        "import pandas as pd\n",
        "import seaborn\n",
        "seaborn.set()\n",
        "\n",
        "from scipy.stats import multivariate_normal"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "----\n",
        "## 多次元正規分布と親しくなろう\n",
        "\n"
      ],
      "metadata": {
        "id": "zDtnBWKha6vx"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 相関係数を含む2次元正規分布の式と分散共分散行列を含む2次元正規分布の式が等価であることを示そう\n",
        "\n"
      ],
      "metadata": {
        "id": "gXEY1V1LG-aG"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "notebookA の\n",
        "\n",
        "> 式 (5) は式 (3),(4) とは見た目がかなり異なりますが，等価な式となっています（**notebookBの方でそのことを確認します**）．\n",
        "\n",
        "のところの話です．"
      ],
      "metadata": {
        "id": "icYtS-NA2FRR"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "---\n",
        "［2次元正規分布の確率密度関数］\n",
        "\n",
        "連続型確率変数 $X$ が平均 $\\mu_x$，分散 $\\sigma_x^2$ の正規分布に従い，連続型確率変数 $Y$ が平均 $\\mu_y$，分散 $\\sigma_y^2$ の正規分布に従うとする．さらに，両者の間の相関係数を $\\rho_{xy}$ とする．このとき，$X$ と $Y$ の同時確率密度関数 $f_{X,Y}(x, y)$  が次式で表されるとする（注）．\n",
        "\n",
        "$$\n",
        "f_{X,Y}(x, y) =  \\frac{1}{2\\pi\\sqrt{\\sigma_x^2\\sigma_y^2(1-\\rho_{xy}^2)}}\\exp\\left(-\\frac{1}{2}D^2\\right) \\qquad (3)\n",
        "$$\n",
        "\n",
        "ただし，\n",
        "\n",
        "$$\n",
        "D^2 = \\frac{1}{1-\\rho_{xy}^2}\\left\\{ \\frac{(x-\\mu_x)^2}{\\sigma_x^2} -2\\rho_{xy} \\frac{(x-\\mu_x)(y-\\mu_y)}{\\sigma_x\\sigma_y} + \\frac{(y-\\mu_y)^2}{\\sigma_y^2} \\right\\} \\qquad (4)\n",
        "$$\n",
        "\n",
        "である．\n",
        "$(X,Y)$の確率密度関数（$X$ と $Y$ の同時確率密度関数）がこのように表されるとき，「$(X,Y)$ は2次元（2変量）正規分布に従う」という．\n",
        "\n",
        "---"
      ],
      "metadata": {
        "id": "tXbTYX2w14SX"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "---\n",
        "［ベクトルと行列で表した2次元正規分布の確率密度関数］\n",
        "\n",
        "2次元の連続型確率変数 $\\mathbf{X} = \\begin{pmatrix}X \\\\ Y \\end{pmatrix}$ が平均\n",
        "$\n",
        "\\mathbf{\\mu} = \\begin{pmatrix} \\mu_x\\\\ \\mu_y \\end{pmatrix}$，分散共分散行列\n",
        "$\n",
        "\\Sigma = \\begin{pmatrix}\n",
        "\\sigma_x^2 & \\sigma_{xy}\\\\ \\sigma_{xy} & \\sigma_y^2\n",
        "\\end{pmatrix}\n",
        "$\n",
        "の2次元正規分布に従うとする．ただし，$\\Sigma$ は正則である（逆行列を持つ）とする（注1）．\n",
        "このとき，$2\\times 1$ 行列 $\\mathbf{x}$ を\n",
        "$\\mathbf{x} = \\begin{pmatrix} x\\\\ y \\end{pmatrix}$\n",
        "とすると，この分布の確率密度関数 $f_{\\mathbf{X}}(\\mathbf{x})$ （注2）は次式で表される\n",
        "\n",
        "$$\n",
        "f_{\\mathbf{X}}(\\mathbf{x}) =\n",
        " \\frac{1}{\\sqrt{(2\\pi)^2|\\Sigma|}}\\exp\\left(-\\frac{1}{2}(\\mathbf{x}-\\mathbf{\\mu})^{\\top}\\Sigma^{-1}(\\mathbf{x}-\\mathbf{\\mu})\\right) \\qquad (5)\n",
        "$$\n",
        "\n",
        "ただし，$|\\Sigma|$ は行列 $\\Sigma$ の行列式を表す．\n",
        "\n",
        "---\n",
        "\n",
        "※注意1: $\\Sigma$ が正則でない場合については，この授業では扱わないことにします．\n",
        "\n",
        "※注意2: Colab の環境では小文字の $x$ の太字 $\\mathbf{x}$ と大文字の $X$ の太字 $\\mathbf{X}$ の見分けがしづらいかもしれません（特にフォントサイズが小さいとき）．どちらもベクトルなので太字で書いてます．$f_{\\mathbf{X}}(\\mathbf{x})$ は，$f_{\\mbox{大文字$X$の太字}}(\\mbox{小文字$x$の太字})$ です．紛らわしくないときは下付き添字を省略することがあります．"
      ],
      "metadata": {
        "id": "FhvKuZgR19j8"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "以下，式$(5)$を変形して式$(3),(4)$を導出する方針で考えてみましょう．"
      ],
      "metadata": {
        "id": "w-4LpJ2J3HfF"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "#### 問題1"
      ],
      "metadata": {
        "id": "aEJiPZ773Rmb"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "(1) $|\\Sigma|$ と $\\Sigma^{-1}$ を $\\sigma_x^2, \\sigma_y^2, \\sigma_{xy}$ を使って表しなさい．"
      ],
      "metadata": {
        "id": "OJFeMa5B3lF3"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "(2) $(\\mathbf{x}-\\mathbf{\\mu})^{\\top}\\Sigma^{-1}(\\mathbf{x}-\\mathbf{\\mu})$ を $x, y, \\mu_x, \\mu_y, \\sigma_x^2, \\sigma_y^2, \\sigma_{xy}$ を使って表しなさい．"
      ],
      "metadata": {
        "id": "gErKMKfZ4NVn"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "(3) 相関係数の定義 $\\displaystyle\\rho_{xy} = \\frac{\\sigma_{xy}}{\\sigma_x\\sigma_y}$ を用いて(1),(2)の答えの式から $\\sigma_{xy}$ を消去して，式$(5)$から式$(3),(4)$が導けることを示しなさい．"
      ],
      "metadata": {
        "id": "b4LpGfmA494o"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "---\n",
        "### 好きな正規分布を作れるようになろう"
      ],
      "metadata": {
        "id": "Nh5eurDr7scO"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "#### 問題2"
      ],
      "metadata": {
        "id": "4xrGXDyd9PUa"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "<img src=\"https://www-tlab.math.ryukoku.ac.jp/~takataka/course/MVA/exGaussian01.png\">\n",
        "\n",
        "上の4つの図は，横軸を $x$，縦軸を $y$ として，式$(3),(4)$の2次元正規分布の確率密度関数 $f(x,y)$ を4通りのパラメータで描いたものである．\n",
        "\n",
        "これら4つを左から順に $(a), (b), (c), (d)$ と表すとき，それぞれの5つのパラメータ，すなわち，$X$ の平均 $\\mu_x$，$Y$ の平均 $\\mu_y$，$X$ の分散 $\\sigma^2_x$，$Y$ の分散 $\\sigma^2_y$，$X$ と $Y$ の相関係数 $\\rho_{xy}$ のおよその値を求めなさい（メモしておこう）．"
      ],
      "metadata": {
        "id": "pFKTStar9PUf"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "次のセルに各パラメータの値を入力して実行するとグラフを描いてくれるので，参考にしたらよい．ただし，やみくもに値を変えるのではなく，それぞれの値の意味を考えながら試すこと．パラメータの値は，相関係数以外はキリの良い数である．\n",
        "\n",
        "各変数の意味は次の通りです：\n",
        "- `mu_x`: $X$ の平均 $\\mu_x$\n",
        "- `mu_y`: $Y$ の平均 $\\mu_y$\n",
        "- `s2_x`: $X$ の分散 $\\sigma^2_x$\n",
        "- `s2_y`: $Y$ の分散 $\\sigma^2_y$\n",
        "- `rho`:  $X$ と $Y$ の相関係数 $\\rho_{xy}$"
      ],
      "metadata": {
        "id": "bEQSOx0u74A5"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@title 問題2,3の検討用のコード\n",
        "\n",
        "mu_x = 1.23 #@param {type:\"raw\"}\n",
        "mu_y = 2.34 #@param {type:\"raw\"}\n",
        "s2_x = 3.45 #@param {type:\"raw\"}\n",
        "s2_y = 4.56 #@param {type:\"raw\"}\n",
        "rho  = 0.99 #@param {type:\"raw\"}\n",
        "\n",
        "# 平均ベクトル\n",
        "mu = np.array([mu_x, mu_y])\n",
        "# 共分散行列\n",
        "s_xy = rho * np.sqrt(s2_x*s2_y)\n",
        "cov = np.array([[s2_x, s_xy],\n",
        "                [s_xy, s2_y]])\n",
        "\n",
        "# 2次元正規分布の等高線プロット\n",
        "xmin, xmax = -8, 8\n",
        "ymin, ymax = -8, 8\n",
        "fig, ax = plt.subplots(facecolor=\"white\", figsize=(6, 6))\n",
        "xg, yg = np.mgrid[xmin:xmax:0.1, ymin:ymax:0.1]\n",
        "X = np.dstack((xg, yg))\n",
        "fxy = multivariate_normal.pdf(X, mean=mu, cov=cov)\n",
        "ax.contourf(xg, yg, fxy)\n",
        "ax.contourf(xg, yg, fxy, cmap='viridis')\n",
        "ax.axhline(0, color='white')\n",
        "ax.axvline(0, color='white')\n",
        "ax.set_xlim(xmin, xmax)\n",
        "ax.set_ylim(ymin, ymax)\n",
        "ax.set_aspect('equal')\n",
        "plt.show()\n",
        "\n",
        "print(f'mu_x = {mu_x},  mu_y = {mu_y}')\n",
        "print(f's2_x = {s2_x},  s2_y = {s2_y}')\n",
        "print(f'rho = {rho}')"
      ],
      "metadata": {
        "id": "MLBSj9NUlcI2"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "#### 問題3"
      ],
      "metadata": {
        "id": "H7rJDHlAG3Se"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "<img src=\"https://www-tlab.math.ryukoku.ac.jp/~takataka/course/MVA/exGaussian02.png\">\n",
        "\n",
        "上の4つの図の正規分布を左から順に $(a), (b), (c), (d)$ と表すとして，問題2と同様に，それぞれの5つのパラメータのおよその値を求めなさい（メモしておこう）．\n",
        "\n",
        "問題2と同様に，上にある「問題2,3の検討用コード」を利用したらよい．"
      ],
      "metadata": {
        "id": "CMyOhSZo6YTg"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "#### 問題4"
      ],
      "metadata": {
        "id": "KViAZz2q-vQE"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "<img src=\"https://www-tlab.math.ryukoku.ac.jp/~takataka/course/MVA/exGaussian03.png\">\n",
        "\n",
        "上の4つの図は，横軸を $x$，縦軸を $y$ として $\\mathbf{x} = \\begin{pmatrix}x \\\\ y\\end{pmatrix}$ とおくとき，式$(5)$の2次元正規分布の確率密度関数 $f(\\mathbf{x})$ を4通りのパラメータで描いたものである．\n",
        "これら4つを左から順に $(a), (b), (c), (d)$ と表すとき，それぞれのパラメータ，すなわち，\n",
        "平均\n",
        "$\n",
        "\\mathbf{\\mu} = \\begin{pmatrix} \\mu_x\\\\ \\mu_y \\end{pmatrix}$，分散共分散行列\n",
        "$\n",
        "\\Sigma = \\begin{pmatrix}\n",
        "\\sigma_x^2 & \\sigma_{xy}\\\\ \\sigma_{xy} & \\sigma_y^2\n",
        "\\end{pmatrix}\n",
        "$\n",
        "のおよその値を求めなさい（メモしておこう）．ヒント: パラメータの値はいずれもキリの良い数である．\n",
        "\n",
        "\n",
        "各変数の意味は次の通りです：\n",
        "- `mu_x`: $\\mu_x$\n",
        "- `mu_y`: $\\mu_y$\n",
        "- `s2_x`: $\\sigma^2_x$\n",
        "- `s2_y`: $\\sigma^2_y$\n",
        "- `s_xy`: $\\sigma_{xy}$"
      ],
      "metadata": {
        "id": "bYeJjyH1-tz4"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@title 問題4の検討用コード\n",
        "\n",
        "mu_x = 1.23 #@param {type:\"raw\"}\n",
        "mu_y = 2.34 #@param {type:\"raw\"}\n",
        "s2_x = 3.45 #@param {type:\"raw\"}\n",
        "s2_y = 4.56 #@param {type:\"raw\"}\n",
        "s_xy = 3.0  #@param {type:\"raw\"}\n",
        "\n",
        "# 平均ベクトル\n",
        "mu = np.array([mu_x, mu_y])\n",
        "# 共分散行列\n",
        "cov = np.array([[s2_x, s_xy],\n",
        "                [s_xy, s2_y]])\n",
        "\n",
        "# 2次元正規分布の等高線プロット\n",
        "xmin, xmax = -8, 8\n",
        "ymin, ymax = -8, 8\n",
        "fig, ax = plt.subplots(facecolor=\"white\", figsize=(6, 6))\n",
        "xg, yg = np.mgrid[xmin:xmax:0.1, ymin:ymax:0.1]\n",
        "X = np.dstack((xg, yg))\n",
        "fxy = multivariate_normal.pdf(X, mean=mu, cov=cov)\n",
        "ax.contourf(xg, yg, fxy)\n",
        "ax.contourf(xg, yg, fxy, cmap='viridis')\n",
        "ax.axhline(0, color='white')\n",
        "ax.axvline(0, color='white')\n",
        "ax.set_xlim(xmin, xmax)\n",
        "ax.set_ylim(ymin, ymax)\n",
        "ax.set_aspect('equal')\n",
        "plt.show()\n",
        "\n",
        "print(f'mu_x = {mu_x},  mu_y = {mu_y}')\n",
        "print(f's2_x = {s2_x},  s2_y = {s2_y}')\n",
        "print(f's_xy = {s_xy}')"
      ],
      "metadata": {
        "id": "Y6uEQucJ3QrF"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "#### 問題5"
      ],
      "metadata": {
        "id": "JyCs92beInRL"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "(1) 2次元の連続型確率変数 $\\mathbf{X} = \\begin{pmatrix}X \\\\ Y \\end{pmatrix}$ が ${\\cal N}(\\mathbf{\\mu}, \\Sigma)$ に従っている．さらに，$X$ は ${\\cal N}(4, 1)$ に，$Y$ は ${\\cal N}(4, 2)$ に従い，$X$ と $Y$ の相関係数は $-\\frac{1}{2}$ である．\n",
        "このとき，$\\mathbf{\\mu}$ と $\\Sigma$ はいくつか答えなさい．"
      ],
      "metadata": {
        "id": "eZTXTYkxIt6B"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "(2) 2次元の連続型確率変数 $\\mathbf{X} = \\begin{pmatrix}X \\\\ Y \\end{pmatrix}$ が ${\\cal N}(\\mathbf{0}, \\Sigma)$ に従っている．さらに，$X$ の分散は $3$，$Y$ の標準偏差は $X$ の標準偏差の $\\sqrt{2}$ 倍であり，$X$ と $Y$ は無相関（相関係数が $0$）である．このとき，$\\Sigma$ はいくつか答えなさい．"
      ],
      "metadata": {
        "id": "ok8wO5qRI0HL"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "(3) 3次元の連続型確率変数 $\\mathbf{X} = \\begin{pmatrix}X_1 \\\\ X_2 \\\\ X_3 \\end{pmatrix}$ が ${\\cal N}(\\mathbf{\\mu}, \\Sigma)$ に従っている．さらに，$X_1, X_2, X_3$ はそれぞれ ${\\cal N}(1, 1), {\\cal N}(2, 4), {\\cal N}(3, 9)$ に従い，$X_1$ と $X_2$ の共分散は $-1$，$X_2$ と $X_3$ の相関係数は $\\frac{1}{3}$，$X_1$ と $X_3$ は無相関（相関係数が $0$）である．\n",
        "このとき，$\\mathbf{\\mu}$ と $\\Sigma$ はいくつか答えなさい．"
      ],
      "metadata": {
        "id": "KD74alzjI6F-"
      }
    }
  ]
}