3_Pandas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Pandas"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div name=\"html-admonition\" style=\"font-size: 0.8em\">\n",
    "<input type=\"button\" onclick=\"location.href='https://translate.google.com/translate?hl=&sl=ja&tl=en&u='+window.location;\" value=\"Google translation\" style=\"color:#ffffff;background-color:#008080; height:25px\" onmouseover=\"this.style.background='#99ccff'\" onmouseout=\"this.style.background='#008080'\"/> in English or the language of your choice.\n",
    "</div><br>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 警告メッセージを非表示\n",
    "import warnings\n",
    "warnings.filterwarnings(\"ignore\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`Pandas`は`NumPy`の`array`のようにデータを扱うパッケージだが，Pandas特有のデータ構造を提供し複雑なデータを扱いやすくしている。例えば，行列にはラベルを使うことにより，インデックス番号だけではなくラベル名（例えば，GDP）を使って操作することが可能となる。Pandasには`DataFrame`（データフレーム）と`Series`（シリーズ）と呼ばれるオブジェクトがある。前者はエクセルのスプレッド・シートをイメージすれば良いだろう。後者は，スプレッド・シートから１つの行または列を取り出したようなデータと思えば良い。また，`Pandas`は`NumPy`に基づいているため，ベクトル演算（ブロードキャスティング）の機能が使える。\n",
    "\n",
    "ここで説明できない他の使い方については[このサイト](https://github.com/ysdyt/pandas_tutorial)と[このサイト](https://note.nkmk.me/python-pandas-post-summary/)が参考になる。\n",
    "\n",
    "通常`pd`という名前で読み込む。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## データの読み込みとデータのチェック"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "様々なデータを読み込むことが可能だが，ここでは`read_csv()`関数を使ってインターネット上の`.csv`ファイルを読み込む。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "# url の設定\n",
    "url = 'https://raw.githubusercontent.com/Haruyama-KobeU/Py4Basics/master/data/data1.csv'\n",
    "\n",
    "# 読み込み\n",
    "df = pd.read_csv(url)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`df`全体を表示させる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "行ラベルがインデックス（番号）のままなので，列`year`を行ラベルに設定する。\n",
    "\n",
    "* `set_index()`：選択された列を行ラベルにするメソッド"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df = df.set_index('year')\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "```{tip}\n",
    "* `df.set_index('year')`は直接`df`に影響を与えない。単に，書き換えるとどうなるかを表示している。ここでは`df`に再度割り当てることにより`df`自体を上書きしている。\n",
    "* 出力にある`NaN`（Not a Number）は欠損値を示す。\n",
    "* 行ラベルに`year`という列名が残るが，それを消す方法：\n",
    "    1. メソッド`.rename_axis('')`を使う。ここで`''`は空の文字列である。`.rename_axis(None)`でも同じ結果となる。\n",
    "    1. `df.index.name = ''`とする。ここで`''`は空の文字列\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "行数が大きい場合（例えば，10000），全てを表示してもあまり意味がない。そこでよく使うメソッドに最初や最後の数行だけを表示すものがある。\n",
    "\n",
    "`df`の最初の５行を表示させる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "引数に2を指定すると最初の2行のみ表示される。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.head(2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "最後の5行を表示させる。引数に整数を入れて表示行数を指定することも可能。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.tail()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`df`の情報を確認する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**説明**：\n",
    "* `<class 'pandas.core.frame.DataFrame'>`\n",
    "    * クラス名\n",
    "    * `type(1)`とすると`int`というデータ型が表示するが，これはクラス名でもある。`print(type(1))`とすると`<class 'int'>`と表示される。\n",
    "* `Int64Index: 11 entries, 2000 to 2010`\n",
    "    * 行のインデックスの情報\n",
    "    * データ型は`Int64`(整数）（データ型には`64`や`32`という数字がついている場合がある。それらは数字をコンピュータのメモリに記憶させる際，何ビット必要かを示している。より重要なのは`Int`（整数）の部分である。）\n",
    "    * 11個のデータで2000から2010\n",
    "* `Data columns (total 5 columns):`\n",
    "    * データ列の数（5つ）\n",
    "* `gdp  11 non-null int64`\n",
    "    * データ型は`int64`\n",
    "    * 11のデータがあり，欠損値なし（`non-null`とは欠損値ではないデータ）\n",
    "* `inv  10 non-null float64`\n",
    "    * データ型は`float64`\n",
    "    * 10のデータがあり，欠損値数は1（＝11-10）\n",
    "* `con  9 non-null float64`\n",
    "    * データ型は`float64`\n",
    "    * 9のデータがあり，欠損値数は2（＝11-9）\n",
    "* `pop  11 non-null int64`\n",
    "    * データ型は`int64`\n",
    "    * 11のデータがあり，欠損値数なし\n",
    "* `id   11 non-null object`\n",
    "    * データ型は`object`（文字列などの場合）\n",
    "    * 11のデータがあり，欠損値数なし\n",
    "* `dtypes: float64(2), int64(2), object(1)`\n",
    "    * `df`の列にどのようなのデータ型かを示す\n",
    "    * `float64`と`int64`が2列つずつ，文字列は１列\n",
    "* `memory usage: 528.0+ bytes`\n",
    "    * メモリー使用量は約528.0バイト\n",
    "\n",
    "データを読み込んだら必ず`info()`を使って欠損値の数や列のデータ型を確認すること。\n",
    "\n",
    "また，データの統計的な特徴は次のメソッドでチェックできる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "* `count`：観測値の数\n",
    "* `mean`：平均\n",
    "* `std`：標準偏差\n",
    "* `min`：最小値\n",
    "* `max`：最大値\n",
    "* `25%`：第１四分位数\n",
    "* `50%`：第２四分位数（中央値）\n",
    "* `75%`：第３四分位数\n",
    "* `max`：最大値\n",
    "\n",
    "\n",
    "次のデータ属性を使って`df`の行と列の長さを確認することができる。返値はタプルで，`(行の数，列の数)`と解釈する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "返値はタプルなので，行数は以下で取得できる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.shape[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "以下でも行数を示すことができる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "len(df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## DataFrameの構成要素"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`DataFrame`には様々な属性があるが，ここでは以下の３点について説明する。\n",
    "\n",
    "* データ（`df.to_numpy()`）\n",
    "* 列ラベル（`df.columns`）\n",
    "* 行ラベル（`df.index`）\n",
    "\n",
    "まずデータ自体を抽出する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.to_numpy()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "type(df.to_numpy())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "これで分かることは，メインのデータの部分は`NumPy`の`ndarray`（`n`次元`array`）であることが分かる。即ち，`Pandas`は`NumPy`に基づいて構築されており，データ値の計算などは`array`が裏で動いているということである。また行と列のラベルを追加し，より直感的に使えるように拡張しているのである。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "次に列ラベルを取り出してみる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.columns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`dtype='object'`から列ラベルに使われているデータ型（`dtype`）はオブジェクト型（`object`）だとわかる。\n",
    "\n",
    "* オブジェクト型とは文字型を含む「その他」のデータ型と理解すれば良いだろう。\n",
    "* `dtype='object'`と`dtype=object`は同じ意味。\n",
    "\n",
    "列ラベル自体のクラスは次のコードで調べることができる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "type(df.columns)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`dir()`もしくは`py4macro`モジュールに含まれる`see()`関数で調べると多くのメソッドや属性が確認できるが，その中に`.tolist()`が含まれており，これを使うことにより列ラベルをリストに変換することができる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df_columns = df.columns.tolist()\n",
    "df_columns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "行ラベルについても同じことができる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.index"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "行ラベルのデータ型`dtype`は整数である`int64`。列`year`を行ラベルに指定したため，`name='year'`はその列ラベルを表示している。行ラベルのデータ型（クラス）は"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "type(df.index)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "であり，ラベルをリストとして抽出することもできる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df_index = df.index.tolist()\n",
    "df_index"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## 要素の抽出"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`NumPy`の`array`の場合，`[,]`を使い要素を抽出した。`Pandas`の場合，様々な抽出方法があるが，覚えやすく少しでも間違いの可能性を減らすために，そして可読性向上のために`array`に対応する以下の２つの方法を使うことにする。\n",
    "\n",
    "* ラベルを使う方法：`.loc[,]`\n",
    "* インデックスを使う方法：`.iloc[,]`（これは`array`の`[ ]`と同じと考えて良い）\n",
    "\n",
    "１つ目の`loc`はラベルのlocationと覚えよう。２つ目はの`iloc`の`i`はインデックス（index）の`i`であり，index locationという意味である。使い方は`array`の場合と基本的に同じである。\n",
    "\n",
    "* `,`の左は行，右は列を表す。\n",
    "* 行または列を連続して選択する（slicing）場合は`:`を使う。（`start:end`）\n",
    "    * `:`の左右を省略する場合は，「全て」という意味になる。\n",
    "    * `:`の左を省略すると「最初から」という意味になる。\n",
    "    * `:`の右を省略すると「最後まで」という意味になる。\n",
    "    * `.loc[,]`の場合，`end`を含む。（要注意！）\n",
    "    * `.iloc[,]`の場合，`end`は含まず，その１つ前のインデックスまでが含まれる。\n",
    "* `,`の右に書く`:`は省略可能であるが省略しないことを推奨する。\n",
    "\n",
    "「特例」として`.loc[,]`と`.iloc[,]`以外に\n",
    "* ラベルと`[]`だけを使い**列**を選択する方法\n",
    "\n",
    "も説明する。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "```{warning}\n",
    "* `.loc[,]`の場合，`end`を含む。（要注意！）\n",
    "* `.iloc[,]`の場合，`end`は含まず，その１つ前のインデックスまでが含まれる。\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### `.loc[,]`（ラベル使用）"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**１つの行を`Series`として抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[2005,:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**１つの行を`DataFrame`として抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[[2005],:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数行を抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[[2005, 2010],:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数行を連続抽出（slicing）**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[2005:2008,:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**１つの列を`Series`として抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[:,'gdp']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数列を抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[:,['gdp','pop']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数列を連続抽出（slicing）**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[:,'inv':'pop']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### `.iloc[]`（インデックス使用）"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**１つの行を`Series`として抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.iloc[1,:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数行を抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.iloc[[1,4],:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数行を連続抽出（slicing）**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.iloc[1:4,:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**１つの列を`Series`として抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.iloc[:,1]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**１つの列を`DataFrame`として抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.iloc[:,[1]]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数列を選択**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.iloc[:,[1,3]]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数列を連続抽出（slicing）**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.iloc[:,1:3]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### `[]`で列の選択（ラベル使用）"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**１つの列を`Series`として抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df['gdp']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**１つの列を`DataFrame`として抽出**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df[['gdp']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "**複数列を選択**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df[['gdp','pop']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## ある条件の下で行の抽出"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### １つの条件の場合"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "#### 例１：GDPが100未満の行の抽出"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "まず条件を作る。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df['gdp'] < 100"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "この条件では，GDPが100未満の行は`True`，以上の行は`False`となる。この条件を`cond`というの変数に割り当てる。`()`を省いても良いが，ある方が分かりやすいだろう。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "cond = ( df['gdp'] < 100 )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`cond`を`.loc[,]`の引数とすることにより，`True`の行だけを抽出できる。（注意：`cond`を使って**行**を抽出しようとしているので`,`の左側に書く。）"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[cond,:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "この条件の下で$inv$だけを抽出したい場合\n",
    "\n",
    "* `df.loc[cond,'inv']`\n",
    "\n",
    "とする。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "```{warning}\n",
    "以下のように抽出を連続ですることも可能だが，避けるように！\n",
    "* `df.loc[cond,:]['inv']`\n",
    "* `df.loc[cond,:].loc[:,'inv']`\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例２：`id`が`a`の行を抽出"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "cond = ( df.loc[:,'id'] == 'a' )\n",
    "df.loc[cond,:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 複数条件の場合"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例３"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "以下の条件の**両方**が満たされる場合：\n",
    "\n",
    "* `gdp`が100以上\n",
    "* `inv`が30以下\n",
    "\n",
    "それぞれの条件を作成する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "cond1 = ( df['gdp'] >= 100 )\n",
    "cond2 = ( df['inv'] <= 30 )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "２つの条件が同時に満たされる条件を作成する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "cond = ( cond1 & cond2 )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`cond`を引数に使い行を抽出する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[cond, :]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例４"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "以下の条件の**どちらか**が満たされる場合：\n",
    "* `gdp`は200以上\n",
    "* `con`は60以下"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "cond1 = ( df['gdp'] >= 200 )\n",
    "cond2 = ( df['con'] <= 60 )\n",
    "cond = ( cond1 | cond2 )\n",
    "\n",
    "df.loc[cond, :]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例５"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "以下の条件の**どちらか**が満たされ\n",
    "* `gdp`は200以上\n",
    "* `con`は60以下\n",
    "\n",
    "かつ以下の条件も**同時に**満たされる場合：\n",
    "* `id`が`a`と等しい"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "cond1 = ( df['gdp'] >= 200 )\n",
    "cond2 = ( df['con'] <= 60 )\n",
    "cond3 = ( df['id'] == 'a' )\n",
    "cond = ( (cond1 | cond2) & cond3 )\n",
    "\n",
    "df.loc[cond, :]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### `query()`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`query()`というメソッドでは文字列を使い行の抽出コードを書くことができる。これにより直感的なコード書くことが可能である。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例１の場合："
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.query('gdp < 100')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例２の場合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.query('id == \"a\"')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例３の場合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.query('(gdp >= 100) & (inv <= 30)')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例４の場合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.query('(gdp >= 200) | (con <= 60)')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "#### 例５の場合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.query('(gdp >= 200 | con <= 60) & (id == \"a\")')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "````{tip}\n",
    "変数で条件を設定する場合`@`が必要になる。例えば，変数`z`という変数があるとしよう。\n",
    "\n",
    "```python\n",
    "z = 100\n",
    "```\n",
    "\n",
    "変数`z`の値に基づいて行の抽出をする場合は次のようにする。\n",
    "\n",
    "```python\n",
    "df.query('gdp < @z')\n",
    "```\n",
    "\n",
    "{glue:}`glue0_txt`\n",
    "````"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true,
    "tags": [
     "remove-cell"
    ]
   },
   "outputs": [],
   "source": [
    "from myst_nb import glue\n",
    "z = 100\n",
    "glue0 = df.query('gdp < @z')\n",
    "glue(\"glue0_txt\", glue0)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## 列と行の追加と削除"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### 列の追加 `[ ]`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`[]`に列ラベルを使って列を抽出することができるが，`[]`は列の追加にも使えるので，ここではその使い方を説明する。まず，全ての行が`1.0`となる列を作成するとしよう。その場合，以下のようにする。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df['Intercept'] = 1.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.head(2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "次の例では既存の列から新たな列を作成する。まず１人当たりGDPの計算を計算し，それを変数`gdp_pc`に割り当てる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "gdp_pc = df['gdp']/df['pop']\n",
    "gdp_pc.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "これは`Series`であり，`GDPpc`として`df`に追加する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df['gdp_pc'] = gdp_pc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.head(2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 列の追加 `.loc[,]`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`.loc[]`は行と列の抽出に使ったが，追加にも使える。`[]`と同じと考えれば良い。次の例では`pop`を2倍した列を追加している。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[:,'2pop'] = 2*df['pop']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 列の削除 `[ ]`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "del df['2pop']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 列の削除 `drop()`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`DataFrame`には`.drop()`というメソッドが用意されているので，それを使うことも可能である。\n",
    "\n",
    "下のコードの説明：\n",
    "* オプション`axis=`の値を`columns`の代わりに`１`でも可\n",
    "* コピーを作るだけなので，元のdfを書き換えたい場合は以下のどちらかが必要\n",
    "    * `df`に代入する\n",
    "    * オプション`inplace=True`（デフォルトは`False`）を追加する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df = df.drop(['Intercept','gdp_pc'], axis='columns')\n",
    "\n",
    "# df.drop('Intercept', axis='columns', inplace=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 行の追加 `.loc[,]`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "行と列の抽出，そして列の追加に使ったが，行の追加にも使える。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.loc[2011,:] = [215, 100, 115, 22, 'b']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.tail(3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "上の例では，最初の4つの要素は整数として入力されたが，`df`の中では浮動小数点に変換されている。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 行の削除 `drop()`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "これは列を削除する際に紹介したメソッド`.drop()`である。\n",
    "\n",
    "* オプション`axis=`の値を`rows`の代わりに`0`でも可\n",
    "* コピーを作るだけなので，元のdfを書き換えたい場合は以下のどちらかが必要\n",
    "    * `df`に代入する\n",
    "    * オプション`inplace=True`（デフォルトは`False`）を追加する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df = df.drop(2011, axis='rows')\n",
    "\n",
    "# df.drop(2011, axis=0, inplace=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## 欠損値の扱い"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`Pandas`では欠損値は`NaN`と表示されるが，`na`もしくは`null`と呼んだりもする。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 欠損値の確認"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "欠損値があるかどうかの確認は，`df.info()`でもできるが，以下のメソッドを組み合わせることでも可能である。\n",
    "\n",
    "* `isna()`：それぞれの要素について`NaN`の場合`True`を，そうでない場合は`False`を返す。（`DataFrame`の全ての要素が`True/False`となる。）\n",
    "* `sum(axis='rows')`：`df`の上から下に**行**（rows）を縦断して，それぞれの列の中にある`True`数える。\n",
    "    * `rows`は複数！（`0`でも可）\n",
    "* `sum(axis='columns')`：`df`の左から右に**列**（columns）を横断して，それぞれの行の中にある`True`を数える。\n",
    "    * `columns`は複数！（`1`でも可）\n",
    "    \n",
    "（注意）`sum()`の`axis`は「行を縦断」か「列を横断」かを指定する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.isna().sum(axis='rows')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`inv`と`con`に`NaN`があることがわかる。`axis='columns'`を設定すると`NaN`がある行を確認できる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.isna().sum(axis='columns')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "---\n",
    "`NaN`がある行だけを抽出したい場合がある。その場合はメソッド`any()`が役に立つ。\n",
    "\n",
    "* `any(axis='rows')`：`df`の上から下に行（`rows`）を縦断して，それぞれの列の中で一つ以上`True`がある場合には`True`を，一つもない場合は`False`を返す。\n",
    "    * `rows`は複数！（0でも可）\n",
    "* `any(axis='columns')`：dfの左から右に列（`columns`）を横断して，それぞれの行の中で一つ以上`True`がある場合には`True`を，一つもない場合は`False`を返す。\n",
    "    * `columns`は複数！（1でも可）\n",
    "\n",
    "（注意）`any()`の`axis`は「行を縦断」か「列を横断」かを指定する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "cond = df.isna().any(axis='columns')\n",
    "df.loc[cond,:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "これで`NaN`がある行を抽出することができる。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 欠損値がある行の削除"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "欠損値がある行を削除するには，`df`のメソッド`.dropna()`を使う。次のコードでは，欠損値がある**全て**の行を削除する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.dropna()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "このメソッドは，欠損値を削除するとどうなるかを示すだけであり`df`自体は影響は受けない。`df`自体から`NaN`がある行を削除する場合は`inplace=True`のオプション（デフォルトでは`False`になっている）を加えて\n",
    "```\n",
    "df.dropna(inplace=True)\n",
    "```\n",
    "とするか，削除後の`df`を変数`df`に再度割り当てる。\n",
    "```\n",
    "df = df.dropna()\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "一方で，ある列に`NaN`がある場合のみ行を削除したい場合もあるだろう。その場合は引数`subset`を使う。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.dropna(subset=['inv'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "列`con`に`NaN`が残っている。\n",
    "\n",
    "＜注意＞<br>\n",
    "`subset=['inv']`のように，`NaN`があるかを確認する列が１つであってもリスト`[]`で指定する。複数であれば，次のように列ラベルをリストとして並べれば良い。\n",
    "```\n",
    "subset=['inv','id']\n",
    "```\n",
    "非常に便利な引数なので覚えておこう！"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## 並び替え"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`df`の行を並び替えるにはメソッド`.sort_values()`を使う。引数には，並び替える基準となる列ラベルを指定し，デフォルトでは昇順となる。次のコードでは`gdp`に従って昇順に並び替えている。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.sort_values('gdp').head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "引数`ascending=False`を使うと降順になる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.sort_values('gdp', ascending=False).head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "複数の列を基準として，昇順と降順を別々に指定することも可能である。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df.sort_values(['id','gdp'], ascending=[True,False]).head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "ここでは`id`に従って先に並び替えられ，その後に`gdp`に従って並び替えられている。`ascending`は昇順（`True`）か降順（`False`）かを指定する引数であり，`['id','gdp']`と`ascending=['True','False']`の順番が対応している。即ち，`id`は昇順，`gdp`は降順となるように並び替えている。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## DataFrameの結合"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "データを扱うと必ずと言って良いほど必要になるのがデータ・セットの結合である。例えば，日本銀行と米国連邦準備制度（米国の中央銀行）のデータからなる`df`を作るとすると，それぞれのサイトから取得したデータ・セットを結合する必要がある。`DataFrame`には，そのための便利なメソッドが準備されているので，ここではそれを紹介する。\n",
    "\n",
    "３つの`.csv`ファイルを使う。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "url = 'https://raw.githubusercontent.com/Haruyama-KobeU/Py4Basics/master/data/'\n",
    "df1 = pd.read_csv(url+'data1.csv')\n",
    "df2 = pd.read_csv(url+'data2.csv')\n",
    "df3 = pd.read_csv(url+'data3.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true,
    "tags": [
     "output_scroll"
    ]
   },
   "outputs": [],
   "source": [
    "df1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true,
    "tags": [
     "output_scroll"
    ]
   },
   "outputs": [],
   "source": [
    "df2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df3"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df3.loc[0,'year']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### 横結合：`merge()`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`merge()`以外にも結合に使える関数はあるが，ここでは`merge()`のみを考える。\n",
    "\n",
    "`df1`を「左」，`df2`を「右」に横結合する。\n",
    "```\n",
    "pd.merge(df1, df2, on=None, how='inner')\n",
    "```\n",
    "* `on`はどの列を基準にして結合するかを指定（ここでは「基準列」と呼ぼう）\n",
    "    * 例えば，`df1`と`df2`の両方に`year`の列がある場合，`on='year'`とすると列`year`が基準列となる。\n",
    "        * `df1`と`df2`の別々の列を指定する場合は`left_on=`と`right_on=`を使う。\n",
    "    * 基準列に基づいて残す行を決める（`how`で説明する）\n",
    "    * 基準列にある要素の順番が合ってなくても，自動でマッチさせる。\n",
    "    * 複数指定も可\n",
    "    * デフォルトは`None`\n",
    "* `how`は`on`で指定した基準列に基づいてどのように結合するかを指定\n",
    "    * `inner`：`df1`と`df2`の両方に基準列ある行だけを残す（デフォルト）。\n",
    "    * `left`：`df1`の行は全て残し，`df2`からはマッチする行だけが残る（マッチしない行は削除）。また`df1`にあり`df2`にない行には`NaN`が入る。\n",
    "    * `right`：`df2`の行は全て残し，`df1`からはマッチする行だけが残る（マッチしない行は削除）。また`df2`にあり`df1`にない行には`NaN`が入る。\n",
    "    * `outer`：`df1`と`df2`の両方の行を残し，マッチする行がない場合は`NaN`を入れる。\n",
    "\n",
    "\n",
    "（コメント）\n",
    "この他に様々な引数があるので[このサイト](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.merge.html)を参照。例えば，場合によっては次の引数を使う必要があるかも知れないので確認しよう。\n",
    "* `left_index=True`：`df1`では行インデックスを基準列にする。\n",
    "* `right_index=True`：`df2`では行インデックスを基準列にする。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例１"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "* `year`を基準列とする。\n",
    "* 共通する行だけを残す。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "pd.merge(df1, df2, on='year', how='inner')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例２"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "* `year`を基準列とする。\n",
    "* `df1`の全ての行を残す。\n",
    "* `df2`ではマッチする行だけ残り，マッチしない行は削除される。\n",
    "* `df1`にあり`df2`にない行には`NaN`が入る。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true,
    "tags": [
     "output_scroll"
    ]
   },
   "outputs": [],
   "source": [
    "pd.merge(df1, df2, on='year', how='left')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例３"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "* `year`を基準列とする。\n",
    "* `df2`の全ての行を残す。\n",
    "* `df1`ではマッチする行だけ残り，マッチしない行は削除される。\n",
    "* `df1`にあり`df2`にない行には`NaN`が入る。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "pd.merge(df1, df2, on='year', how='right')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### 例４"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "* `year`を基準列とする。\n",
    "* `df1`と`df2`の全ての行は残る。\n",
    "* `df1`にあり`df2`にない行には`NaN`が入る。\n",
    "* `df2`にあり`df1`にない行には`NaN`が入る。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true,
    "tags": [
     "output_scroll"
    ]
   },
   "outputs": [],
   "source": [
    "pd.merge(df1, df2, on='year', how='outer')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 縦結合"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`concat()`は横結合にも使えるが，縦結合のみ考える。\n",
    "\n",
    "引数には複数の`DataFrame`をリストとして書く。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df13 = pd.concat([df1,df3])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df13.tail()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## その他"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### インデックスを振り直す"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "メソッド`.reset_index()`を使うと，行のインデックスを0,1,2,..と振り直すことができる。`df13`を使い説明する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true,
    "tags": [
     "output_scroll"
    ]
   },
   "outputs": [],
   "source": [
    "df13.reset_index()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "この例では元のインデックスが列`index`として追加されている。`reset_index()`に引数`drop=True`を加えると，列`index`は追加されない。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df13.reset_index(drop=True).head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "### 列のラベルの変更"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "メソッド`.rename()`を使い列のラベルを変更する。引数は次の形で設定する。\n",
    "\n",
    "$$\\text{.rename}\\left(\\text{columns=}辞書\\right)$$\n",
    "\n",
    "ここで「辞書」は次のルールで指定する。\n",
    "* `key`:元のラベル\n",
    "* `value`：新しいラベル\n",
    "\n",
    "下のコードでは，`df13`を使い新しいラベルとして`pop_new`と`id_new`を使っている。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df13.rename(columns={'pop':'pop_new','id':'id_new'}).head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`.rename()`以外にリストを使って列ラベルを変更することも可能である。例えば，\n",
    "```\n",
    "df.columns = ['year', 'gdp', 'inv', 'con', 'pop_new', 'id_new']\n",
    "```\n",
    "この場合，列の数とリストの要素数が合わないとエラーとなるので注意しよう。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### 列の並び替え"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "#### アルファベット順"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "メソッド`.sort_index()`を使い，引数には`axis='columns'`もしくは`axis=1`を指定する。\n",
    "\n",
    "（コメント）引数が`axis='rows'`もしくは`axis=0`の場合，行が並び替えられる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df13.sort_index(axis='columns').head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "#### 順番を指定する"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "##### 方法１"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "列を選択する方法を使い並び替える。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "var = ['id','year','gdp','con','inv','pop']\n",
    "\n",
    "df13.loc[:,var].head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "##### 方法２"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "次の列の選択方法でも可。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df13[var].head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true,
    "hidden": true
   },
   "source": [
    "##### 方法３"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "メソッド`.reindex()`を使う。引数は`columns=[]`。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "df13.reindex(columns=['id','year','gdp','con','inv','pop']).head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "##### 方法３の応用"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "最後の行を最初に移動する。\n",
    "* `.columns.tolist()`：コラムのラベルを取得し，それをリストに変換\n",
    "* `[col[-1]]+col[0:-2]`の分解と結合\n",
    "    * `[col[-1]]`：`col`の最後の要素を抽出するが，文字列として返されるので（外側の）`[ ]`を使ってリストに変換\n",
    "    * `col[0:-2]`：`col`の最初から最後から二番目の要素をリストとして取得\n",
    "    * `+`：リストの結合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "col = df13.columns.tolist()\n",
    "\n",
    "new_col = [col[-1]]+col[0:-2]\n",
    "\n",
    "df.reindex(columns=new_col).head()"
   ]
  }
 ],
 "metadata": {
  "celltoolbar": "Tags",
  "kernel_info": {
   "name": "python3"
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.5"
  },
  "nteract": {
   "version": "0.15.0"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}