1_Data-analysis/1.4 ترکیب جداول.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "rtO6AezzpvGi"
   },
   "source": [
    "<h1 dir=\"rtl\"> ۱.۴. ترکیب داده‌های جداول متفاوت\n",
    "</h1>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<a href=\"https://www.youtube.com/watch?v=KgzuMQkAKxU&list=PLY_JJbHwd6kftjlcbtChIKZfEPEfFRGcY&index=9&ab_channel=TheInternationalJournalists%27Network\">\n",
    "<img src=\"https://dotnet-talk.com/images/icfj/1_4.jpg\" width=\"50%\" alt=\"ترکیب داده های جداول مختلف - ویدیو\" />\n",
    "</a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div dir=\"rtl\">\n",
    "در درس‌های قبل گفتیم قبل از این که بتوانیم از `پانداس` روی کامپیوترمان استفاده کنیم، باید آن را\n",
    "نصب کنیم. در این درس پیش‌فرض ما این است که این پکیج را نصب شده داریم. \n",
    " </div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "yYgdy3oa1lot"
   },
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "0YmhWg7gqJYn"
   },
   "source": [
    "<h2 dir=\"rtl\"> مقدمه\n",
    "    </h2>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "7sTXdbQqqJUb"
   },
   "source": [
    "<div dir=\"rtl\">\n",
    "اینجا نحوه کار با داده‌های برگرفته از چندین منبع را می‌آموزید. این کار به شما امکان می‌دهد تا قابلیت‌های گزارشگری خود را افزایش دهید و یافته‌های ارزشمندی را به دست بیاورید. در این نوت‌بوک یاد می‌گیریم تا با استفاده از کتابخانه پانداس در پایتون داده‌های چندین جدول را با هم ادغام کنیم.\n",
    "    </div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "2dA9efVSTO1h"
   },
   "source": [
    "<h2 dir=\"rtl\">\n",
    " ادغام جداول متفاوت به چه معناست و چه مزایایی دارد؟ </h2>\n",
    "<div dir=\"rtl\">\n",
    "یادگیری نحوه ادغام جداول به چه دردی می‌خورد؟ برای شرح این موضوع، بیایید روی جدول زیر که در قالب دیتا‌فریم در پانداس تعریف شده، کار کنیم:\n",
    "    </div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 314
    },
    "id": "MKGQWhR-TjXE",
    "outputId": "91072620-1eb3-4c5f-f842-8a362c96d044"
   },
   "outputs": [],
   "source": [
    "# جدول مدنظر\n",
    "product_data = {\n",
    "    'Product ID': [101, 102, 103, 104, 105, 106, 107, 108],\n",
    "    'Product Name': ['Laptop', 'Smartphone', 'Tablet', 'Smartwatch', 'Laptop', 'Smartphone', 'Tablet', 'Smartwatch'],\n",
    "    'Category': ['Electronics', 'Electronics', 'Electronics', 'Electronics', 'Electronics', 'Electronics', 'Electronics', 'Electronics'],\n",
    "    'Brand': ['Brand A', 'Brand A', 'Brand A', 'Brand A', 'Brand B', 'Brand B', 'Brand B', 'Brand B']\n",
    "}\n",
    "\n",
    "product_df = pd.DataFrame(product_data)\n",
    "print(\"Product Table:\")\n",
    "display(product_df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "NymfdI2ZUhP-"
   },
   "source": [
    "همان‌طور که در سمت چپ جدول می‌بینید، هر سطر حاوی یک شماره شاخص (۰، ۱، ۲، ۳ و ...) است. \n",
    "Product ID\n",
    "\n",
    "اتریبیوت‌های این جدول نیز عبارتند از:\n",
    "\n",
    "`Product ID`\n",
    "\n",
    "`Product Name`\n",
    "\n",
    "`Category`\n",
    "\n",
    "`Brand`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "gskL8epHWK6b"
   },
   "source": [
    "اصطلاح «ترکیب جداول» به این معناست که ما اطلاعات موجود در یک جدول را با اطلاعات یک جدول دیگر ادغام می‌کنیم تا به مجموعه داده بزرگ‌تر و جامع‌تری دست پیدا کنیم. به عنوان مثال فرض کنید ما یک جدول دیگر هم داریم که حاوی اطلاعات زیر است: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 331
    },
    "id": "C8Z9ovIxWY-L",
    "outputId": "3255d6e3-2d96-4d26-de3d-7d7cb0238ce8"
   },
   "outputs": [],
   "source": [
    "# جدولی جداگانه که حاوی اتریبیوت «پروداکت آی‌دی» (شناسه محصول) و «قیمت» است. \n",
    "cost_data = {\n",
    "    'Product ID': [101, 102, 103, 104, 105, 106, 107, 108],\n",
    "    'Cost': [800, 500, 300, 250, 850, 550, 350, 275]\n",
    "}\n",
    "\n",
    "cost_df = pd.DataFrame(cost_data)\n",
    "print(\"\\nCost Table:\")\n",
    "display(cost_df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "BQ6JCllVWr5Z"
   },
   "source": [
    "اگر جدول اول را به تنهایی مورد مطالعه قرار دهیم، اطلاعات چندانی به دست نخواهیم آورد. به عنوان مثال با کمک جدول اول به جز هیستوگرام انواع محصولات و این‌که هر «برند» یا نام تجاری چه محصولاتی ارائه می‌کند، چیز چندان بیشتری دستگیرمان نمی‌شود. اما ترکیب این جدول با جدول دوم اطلاعات بیشتری در اختیار ما قرار می‌دهد. مثلا میتوانیم:\n",
    "\n",
    "- میانگین قیمت هر محصول را بدست بیاوریم. به عنوان مثال، میانگین قیمت تلفن هوشمند\n",
    "- درصد تفاوت میانگین قیمت محصولات را دریابیم: مثلا درصد تفاوت میانگین قیمت تلفن هوشمند برند آ و برند ب "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "aIBOlq5Is8hO"
   },
   "source": [
    "\n",
    "## ادغام جداول در پانداس\n",
    "\n",
    "نحوه ذخیره و ترکیب جداول، بسته به این‌که از چه زبان برنامه‌نویسی‌ای استفاده می‌کنید، متفاوت است. در این نوت‌بوک، نحوه ذخیره داده در پانداس دیتافریم را می‌آموزیم و از پانداس برای ادغام آن‌ها استفاده می‌کنیم.   "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "JHAvUQRf3soJ"
   },
   "source": [
    "در پایین ما  تابع \n",
    "\n",
    "`pd.merge` ([pandas.merge docs](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.merge.html)) \n",
    "\n",
    "را برای ادغام دیتافریم پایین به کار می‌بریم::"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 297
    },
    "id": "q7zyWnKayuBN",
    "outputId": "62ab1175-f42c-45d4-e9c7-28d447350631"
   },
   "outputs": [],
   "source": [
    "pd.merge(product_df, cost_df, on='Product ID')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "hUgavUtLS_gG"
   },
   "source": [
    "`pd.merge` \n",
    "\n",
    "همچنین حاوی پارامتر\n",
    "\n",
    "`how`\n",
    "\n",
    "است. در مثال بالا، از آن‌جایی که نحوه استفاده از این پارامتر را تعریف نکرده‌ایم، این تابع به صورت پیش‌فرض، «مقدار» \n",
    "\n",
    "`inner`\n",
    "\n",
    "را مد نظر قرار داده است. کمی جلوتر، بیشتر درباره استفاده از پارامتر\n",
    "\n",
    "`outer`\n",
    "\n",
    "صحبت می‌کنیم."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "qIqtgPFI9rpP"
   },
   "source": [
    "پیش از ادغام جداول، بهتر است به نوع جدول ادغام شده‌مان فکر کنیم و ببینیم به دنبال چه چیزی در جدول نهایی هستیم. این کار به شما کمک می‌کند تا عملگری را برای ادغام جداول به کار ببرید که پاسخگوی نیاز شماست. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ZTin76A6-oW1"
   },
   "source": [
    "زمانی که می‌خواهیم جداول را با هم ادغام می‌کنیم، باید از یک ستون مشترک استفاده کنیم. در مثال بالا ما از ستون\n",
    "\n",
    "Product ID \n",
    "\n",
    "برای این کار استفاده کردیم. توجه داشته باشید که هر دو جدول دارای «پروداکت آی‌دی» های یکسان است: نخستین آی‌دی ۱۰۱ و آخرین آن ۱۰۸ است. فرض کنید یکی از این جداول فقط شش «پروداکت آی‌دی» داشت (از ۱۰۱ تا ۱۰۶). آن زمان چه باید کرد؟ اینجاست که ما از پارامتر\n",
    "\n",
    "'how'\n",
    "\n",
    "استفاده می‌کنیم. در مثال‌های پایین نشان می‌دهیم که از طریق ادغام‌های مختلف می‌توان با مجموعه‌داده‌هایی در دیتافریم کار کرد که داده‌های آن ناقص است."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Ijs9DDu4TbcY"
   },
   "source": [
    "#### Left Merge (`how` = left)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Z4Zr07z19lDA"
   },
   "source": [
    "فرض کنید ما مجموعه داده‌ای در اختیار داریم که حاوی تمام شهرهایی است که نوعی بیماری خاص در آن شیوع پیدا کرده است. این مجموعه داده حاوی نام این شهرها و شناسه منحصر به فرد هر شهر است. حال فرض کنید یک مجموعه داده دیگر هم داریم که حاوی  شناسه و جمعیت شهرها است، اما شناسه تمامی شهرهایی که بیماری در آن شیوع پیدا کرده، در این جدول دوم وجود ندارد. حال تصور کنید می‌خواهیم جدولی بسازیم از اسامی تمامی شهرها و جمعیتشان و می‌خواهیم تمامی شهرهایی که با شیوع بیماری مواجهند هم در این جدول موجود باشند. برای انجام این کار از روش زیر استفاده می‌کنیم: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 142
    },
    "id": "5mb7cYPC9377",
    "outputId": "eca7173e-14d5-4951-d0df-299d0c0dd0d1"
   },
   "outputs": [],
   "source": [
    "iranian_cities = pd.DataFrame({'city_id': [1, 2, 3], 'city_name': ['Tehran', 'Mashhad', 'Isfahan']})\n",
    "city_populations = pd.DataFrame({'city_id': [1, 2], 'population': [9172195, 3203253]})\n",
    "\n",
    "merged = pd.merge(left = iranian_cities, right = city_populations, on='city_id', how='left')\n",
    "merged"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ZT2bm6sVE-N-"
   },
   "source": [
    "عمل\n",
    "\n",
    "`merge`\n",
    "\n",
    "بر اساس ستون\n",
    "\n",
    "`city_id`\n",
    "\n",
    "تمامی سطرهای دیتافریم سمت چپ\n",
    "\n",
    "(`iranian_cities`)\n",
    "\n",
    "را با سطرهای مشابه دیتافریم سمت راست\n",
    "\n",
    "(`city_populations`) \n",
    "\n",
    "مطابقت می‌دهد. اگر اطلاعات دیتافریم سمت چپ با سطری در دیتافریم سمت راست مطابقت پیدا کند، اطلاعات آن سطر در دیتافریم نهایی درج خواهد شد، اما اگر این اطلاعات موجود نباشد، عبارت\n",
    "\n",
    "NaN\n",
    "\n",
    "را در دیتافریم نهایی خواهیم دید.\n",
    "\n",
    "#### Right Merge (`how` = right)\n",
    "\n",
    "\n",
    "در این شرایط ما از\n",
    "\n",
    "`how='left'`\n",
    "\n",
    "استفاده می‌کنیم تا مطمئن شویم فارغ از مطابقعت اطلاعات دیتافریم\n",
    "\n",
    "`iranian_cities`\n",
    "\n",
    "با سطری در دیتافریم\n",
    "\n",
    "`city_populations`\n",
    "\n",
    "تمامی شهرهای دیتافریم\n",
    "\n",
    "`iranian_cities`\n",
    "\n",
    "در دیتافریم نهایی مندرج شود.  اگر از گزاره  \n",
    "\n",
    "`how='right'`\n",
    "\n",
    "استفاده می‌کردیم، تنها شهرهایی از ازدیتافریم\n",
    "\n",
    "`city_populations`\n",
    "\n",
    "در دیتافریم نهایی مندرج می‌شد که با سطری در دیتافریم\n",
    "\n",
    "`iranian_cities`\n",
    "\n",
    "مطابقت دارند."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 111
    },
    "id": "CrXkD0u_E0Ul",
    "outputId": "5e037b73-4925-4559-9d76-6c74a5635dbd"
   },
   "outputs": [],
   "source": [
    "right_merged = pd.merge(iranian_cities, city_populations, on='city_id', how='right')\n",
    "right_merged"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "xzzZGCQ5-Tp5"
   },
   "source": [
    "در مثال بالا ما از ادغام سمت چپ استفاده کردیم و آن را با دیتافریم سمت راست مطابقت دادیم. برای بررسی ادغام‌های دیگر، چند مثال دیگر می‌زنیم."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "zy9euJVuTuhg"
   },
   "source": [
    "#### Inner Merge (`how` = inner)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Nsm3UABBp-Lf"
   },
   "source": [
    "فرض کنید می‌خواهیم جدولی بسازیم از محتوای غذایی میوه‌های مورد علاقه دوستانمان. جدولی داریم حاوی نام دوستان و میوه مورد علاقه‌شان و جدول دیگری که حاوی محتوای غذایی میوه‌ها. حال ببینیم ادغام درونی\n",
    "\n",
    "inner merge\n",
    "\n",
    "و بیرونی\n",
    "\n",
    "outer merge\n",
    "\n",
    "چیست و چه تفاوتی با هم دارند."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "B3cwBQcYpflu"
   },
   "outputs": [],
   "source": [
    "# جدول اول که حاوی نام افراد و میوه مورد علاقه آن‌هاست\n",
    "\n",
    "people_fruits_data = {\n",
    "    \"Name\": [\"Alice\", \"Bob\", \"Charlie\", \"David\", \"Edward\"],\n",
    "    \"Favorite_Fruit\": [\"Apple\", \"Banana\", \"Grapes\", \"Orange\",\"Papaya\"]\n",
    "}\n",
    "\n",
    "people_fruits_df = pd.DataFrame(people_fruits_data)\n",
    "\n",
    "# جدول دوم که حاوی میوه‌ها و محتوای غذایی آن‌هاست\n",
    "\n",
    "nutritional_content_data = {\n",
    "    \"Fruit\": [\"Apple\", \"Banana\", \"Grapes\", \"Orange\", \"Pineapple\"],\n",
    "    \"Calories\": [95, 89, 67, 47, 50],\n",
    "    \"Vitamin_C_mg\": [4.6, 8.7, 3.2, 45, 48],\n",
    "    \"Fiber_g\": [2.4, 2.6, 0.9, 2.4, 1.4]\n",
    "}\n",
    "\n",
    "nutritional_content_df = pd.DataFrame(nutritional_content_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "JI3aRujHqzeX"
   },
   "source": [
    "حال به روش ادغام درونی این دو جدول را با هم ترکیب می‌کنیم."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 173
    },
    "id": "2N61VVXRp0MM",
    "outputId": "503949d4-a7d4-41fd-b464-41a2cfa10560"
   },
   "outputs": [],
   "source": [
    "# ادغام به روش ادغام درونی\n",
    "\n",
    "merged_data = pd.merge(\n",
    "    people_fruits_df, nutritional_content_df,\n",
    "    left_on=\"Favorite_Fruit\", right_on=\"Fruit\",\n",
    "    how=\"inner\"\n",
    ")\n",
    "\n",
    "# حذف ستون تکراری «میوه»\n",
    "\n",
    "merged_data = merged_data.drop(columns=\"Fruit\")\n",
    "\n",
    "# نمایش جدول ادغام شده\n",
    "\n",
    "display(merged_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "a1xH8akZTzPj"
   },
   "source": [
    "#### Outer Merge (`how` = outer)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "vAVGsjjqq7Ao"
   },
   "source": [
    "حال ببینید چه می‌شود وقتی ما از ادغام بیرونی استفاده می‌کنیم.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 235
    },
    "id": "qD4MdDr_q3bu",
    "outputId": "2535131a-4b3f-43d0-fc48-e627b51f97d0"
   },
   "outputs": [],
   "source": [
    "# ادغام به روش ادغام بیرونی\n",
    "\n",
    "merged_data = pd.merge(\n",
    "    people_fruits_df, nutritional_content_df,\n",
    "    left_on=\"Favorite_Fruit\", right_on=\"Fruit\",\n",
    "    how=\"outer\"\n",
    ")\n",
    "\n",
    "# حذف ستون تکراری «میوه»\n",
    "\n",
    "merged_data = merged_data.drop(columns=\"Fruit\")\n",
    "\n",
    "# نمایش جدول ادغام شده\n",
    "\n",
    "display(merged_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "MSsUcrtTp5Uj"
   },
   "source": [
    "ادغام درونی\n",
    "\n",
    "inner merge (or inner join)\n",
    "\n",
    "بر اساس سطر‌های مشترک انتخاب شده دو مجموعه داده را با هم ادغام می‌کند و فقط اطلاعاتی را در جدول نهایی می‌آورد که با هم همخوانی دارند. \n",
    "\n",
    "ادغام بیرونی\n",
    "\n",
    "outer merge (or outer join)\n",
    "\n",
    "تمامی سطور هر دو مجموعه داده را در جدول نهایی مندرج می‌کند و برای بخش‌هایی که با هم منطبق نیستند از عبارت\n",
    "\n",
    "NaN\n",
    "\n",
    "استفاده می‌کند.\n",
    "\n",
    "شما همچنین می‌توانید با استفاده از پارامتر\n",
    "\n",
    "\"how\"\n",
    "\n",
    "در ادغام بالا، این ادغام را به ادغام چپ و راست تغییر دهید و تفاوت آن با ادغام درونی و بیرونی را ببینید."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "_ZYaIbib7kX8"
   },
   "source": [
    "#### یافتن ادغام مناسب"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "MSbTJ0ei5W3m"
   },
   "source": [
    "ما می‌توانیم بر اساس تحلیلی که مدنظرمان است می‌توانیم نوع ادغاممان را مشخص کنیم. مثلا در مثال پایین می‌خواهیم محل زندگی مشتریان محصولات مختلف را تحلیل کنیم.\n",
    "\n",
    "در این مورد، استفاده از ادغام راست منطقی است چرا که تمرکز اصلی روی تاریخ فروش محصول است و می‌خواهیم تمامی اطلاعات فروش در جدول نهایی موجود باشد. ادغام راست، تمامی اطلاعات فروش محصولات را فارغ از تطابق آن‌ها با خریداران در جدول نهایی منعکس می‌کند.  \n",
    "\n",
    "اگر از ادغام چپ یا درونی استفاده می‌کردیم، محصولاتی را که با خریداری مطابقت نداشت، حذف می‌کرد و در جدول نهایی نمی‌آورد. این جدول احتمالا به کار ما نمی‌آید چرا که ما برای تحلیلمان به اطلاعات سایر محصولات نیز نیاز داریم."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "k3WvqGCIr9d_"
   },
   "outputs": [],
   "source": [
    "# مجموعه داده حاوی اطلاعات خریداران\n",
    "customer_information_data = {\n",
    "    \"ID\": [1, 2, 3, 4],\n",
    "    \"Name\": [\"John Doe\", \"Jane Smith\", \"Michael Brown\", \"Lucy Green\"],\n",
    "    \"Email\": [\"john.doe@example.com\", \"jane.smith@example.com\", \"michael.brown@example.com\", \"lucy.green@example.com\"],\n",
    "    \"Location\": [\"New York, NY\",\"New York, NY\",\"Chester, NJ\",\"Boston, MA\"]\n",
    "}\n",
    "\n",
    "customer_information_df = pd.DataFrame(customer_information_data)\n",
    "\n",
    "# مجموعه داده حاوی اطلاعات محصولات\n",
    "product_sales_data = {\n",
    "    \"Product_ID\": [101, 102, 103, 104, 105],\n",
    "    \"Product_Name\": [\"Laptop\", \"Monitor\", \"Keyboard\", \"Mouse\", \"Headset\"],\n",
    "    \"Units_Sold\": [50, 120, 200, 180, 80],\n",
    "    \"Customer_ID\": [1, 2, 3, 1, 3]\n",
    "}\n",
    "\n",
    "product_sales_df = pd.DataFrame(product_sales_data)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 204
    },
    "id": "t857hV9jsSbF",
    "outputId": "8c809ada-dfb6-4562-980a-8acc8603cd86"
   },
   "outputs": [],
   "source": [
    "# ادغام داده‌ها\n",
    "merged_data = pd.merge(customer_information_df,\n",
    "    product_sales_df,\n",
    "    left_on=\"ID\", right_on=\"Customer_ID\",\n",
    "    how=\"right\"\n",
    ")\n",
    "display(merged_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "CdWztwmVujtZ"
   },
   "source": [
    "در مثال پایین دو مجموعه داده کوچک داریم: یکی حاوی اطلاعات فروش محصولات مختلف در مناطق متفاوت است و دیگری حاوی میزان مالیات مناطق مختلف. در این‌جا ادغام راست به ما امکان می‌دهد تا فارغ از مطابقت اطلاعات مالیاتی با اطلاعات فروش، تمامی اطلاعات مالیاتی در جدول نهایی منعکس شود. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "XU5SJtaSueW-"
   },
   "outputs": [],
   "source": [
    "# داده فروش\n",
    "sales_data = {\n",
    "    'region': ['North', 'South', 'East', 'West'],\n",
    "    'product': ['A', 'B', 'C', 'D'],\n",
    "    'sales': [1000, 1200, 900, 1100],\n",
    "}\n",
    "\n",
    "sales_df = pd.DataFrame(sales_data)\n",
    "\n",
    "# داده مالیات منطقه‌ای\n",
    "tax_data = {\n",
    "    'region': ['North', 'South', 'East', 'West', 'Central'],\n",
    "    'tax_rate': [0.05, 0.06, 0.07, 0.05, 0.06],\n",
    "}\n",
    "\n",
    "tax_df = pd.DataFrame(tax_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 204
    },
    "id": "bJO5knnluqVn",
    "outputId": "9a3da53c-0834-4813-c266-5af948459009"
   },
   "outputs": [],
   "source": [
    "# ادغام دو مجموعه داده\n",
    "merged_df = pd.merge(sales_df, tax_df, on='region', how='right')\n",
    "\n",
    "display(merged_df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "UkxzVfoqOw8_"
   },
   "source": [
    "#### نگاهی عمیق‌تر"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "eAF65THgPHo0"
   },
   "source": [
    "هنگام ادغام دیتافریم‌ها، توجه به برخی جزئیات به ما کمک می‌کند تا از ادغام صحیح آن‌ها اطمینان حاصل کنیم. در مثال بالا، آن‌چه باید به آن توجه می‌شد این بود که اسامی تمامی شهرهای موجود در یک دیتافریم، در دیتافریم دیگر وجود ندارد. در مورد پایین نیز ما متوجه مورد دیگری می‌شویم که باید به آن توجه کنیم. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "-RAV_jDIO2L4"
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "#داده‌ای که لزوما درست نیست\n",
    "iran_covid_data = {\n",
    "    'Province': ['Tehran', 'Isfahan', 'Mazandaran', 'Khorasan Razavi', 'Fars', 'Gilan', 'Kerman', 'Khuzestan', 'Kermanshah', 'East Azerbaijan', 'Qom', 'Semnan', 'Golestan', 'West Azerbaijan', 'Markazi', 'Lorestan', 'Hormozgan', 'Yazd', 'Chaharmahal and Bakhtiari', 'Kohgiluyeh and Boyer-Ahmad', 'Ilam', 'Bushehr', 'North Khorasan', 'South Khorasan', 'Sistan and Baluchestan', 'Ardebil'],\n",
    "    'Deaths': [22824, 5392, 5302, 4969, 4851, 3496, 3016, 2963, 2823, 2536, 2213, 2059, 2044, 2027, 2004, 1958, 1624, 1607, 1202, 996, 971, 961, 836, 778, 765, 762]\n",
    "}\n",
    "\n",
    "iran_covid_df = pd.DataFrame.from_dict(iran_covid_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 1000
    },
    "id": "PG-rh4oUPPrX",
    "outputId": "abbb8180-9182-4e85-df00-771808df2979"
   },
   "outputs": [],
   "source": [
    "\n",
    "\n",
    "#داده‌ای که لزوما درست نیست\n",
    "gdp_data = {\n",
    "    'province_name': ['Alborz', 'Ardabil', 'Bushehr', 'Chaharmahal and Bakhtiari', 'East Azerbaijan', 'Fars', 'Gilan', 'Golestan', 'Hamadan', 'Hormozgan', 'Ilam', 'Isfahan', 'Kerman', 'Kermanshah', 'Khuzestan', 'Kohgiluyeh and Boyer-Ahmad', 'Kurdistan', 'Lorestan', 'Markazi', 'Mazandaran', 'North Khorasan', 'Qazvin', 'Qom', 'Razavi Khorasan', 'Semnan', 'Sistan and Baluchestan', 'South Khorasan', 'Tehran', 'West Azerbaijan', 'Yazd', 'Zanjan'],\n",
    "    'Abbreviation': ['AL', 'AR', 'BU', 'CB', 'EA', 'FA', 'GN', 'GO', 'HA', 'HO', 'IL', 'IS', 'KN', 'KE', 'KH', 'KB', 'KU', 'LO', 'MA', 'MN', 'NK', 'QA', 'QM', 'RK', 'SE', 'SB', 'SK', 'TE', 'WA', 'YA', 'ZA'],\n",
    "    'Area (km2)': [5833, 17800, 22743, 16332, 45650, 122608, 14042, 20195, 19368, 70669, 20133, 107029, 183285, 24998, 64055, 15504, 29137, 28294, 29130, 23701, 28434, 15549, 11526, 118884, 97491, 180726, 151913, 18814, 37437, 76469, 21773],\n",
    "    'GDP per capita': [12500, 9000, 10000, 6000, 7500, 7500, 7500, 6000, 6000, 8000, 6000, 7000, 9000, 8000, 6000, 6000, 6000, 8000, 6000, 8000, 6000, 7000, 7000, 6000, 7500, 6000, 5000, 6000, 8000, 8000, 8000],\n",
    "    'Population (2023)': [2730000, 1284000, 1174000, 973000, 3925000, 4904000, 2546000, 1893000, 1756000, 1806000, 591000, 5136000, 3184000, 2003000, 4725000, 728000, 1614000, 1784000, 1436000, 3302000, 868000, 1284000, 1300000, 6444000, 715000, 2777000, 786000, 13323000, 3278000, 1156000, 1103000]\n",
    "}\n",
    "\n",
    "gdp_df = pd.DataFrame(gdp_data)\n",
    "display(gdp_df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "PCOjr8EaRC0j"
   },
   "source": [
    "در مثال بالا دو مجموعه داده داریم\n",
    "\n",
    "iran_covid_data\n",
    "\n",
    "و\n",
    "\n",
    "gdp_data. \n",
    "\n",
    "می‌خواهیم از طریق ادغام داده‌ها رابطه سرانه تولید ناخالص داخلی با سرانه مرگ و میر ناشی از کرونا را بررسی کنیم. برای انجام این‌کار باید به این نکات توجه داشته باشیم:\n",
    "\n",
    "\n",
    "۱.   برای ادغام این دو دیتافریم، می‌توانیم از ستون مشترک استان استفاده کنیم، اما نکته اینجاست که نام ستون استان در دو دیتافریم متفاوت است. برای حل این مشکل، می‌توانیم از پارامترهای\n",
    "\n",
    "\n",
    "left_on \n",
    "\n",
    "و\n",
    "\n",
    "right_on \n",
    "\n",
    "استفاده کنیم تا مشخص کنیم مقصودمان کدام ستون‌ها در این دو دیتافریم است.\n",
    "\n",
    "\n",
    "۲.   این دو مجموعه داده دارای کیفیت چندانی نیستند و اطلاعات مربوط به استان‌ها کامل نیست. برای حل این مشکل می‌توانیم از ادغام بیرونی استفاده کنیم. ادغام بیرونی به ما این امکان را می‌دهد تا استان‌هایی را که با نقص داده مواجهند شناسایی کنیم. ادغام بیرونی برای این نوع مجموعه داده مناسب است، چرا که فارغ از مطابقت اطلاعات دو مجموعه داده، تمامی اطلاعات را در جدول نهایی مندرج می کند. اگر اطلاعات تکمیلی مرتبط با یک استان در یکی از دیتافریم‌ها موجود نباشد، در جدول نهایی با عبارت \n",
    "\n",
    "NaN\n",
    "\n",
    "مواجه می‌شویم."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 1000
    },
    "id": "y6ynufYD8UPV",
    "outputId": "d18f5571-6da9-47fc-a7de-f52279697197"
   },
   "outputs": [],
   "source": [
    "outer_merged = pd.merge(iran_covid_df, gdp_df, left_on='Province', right_on = 'province_name', how='outer')\n",
    "display(outer_merged)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "iMaIFb3O9QUP"
   },
   "source": [
    "در جدول نهایی می‌بینیم که در خصوص دو استان موجود در ستون\n",
    "\n",
    "Province\n",
    "\n",
    "دیتافریم سمت چپ (خراسان رضوی و اردبیل)، اطلاعاتی در ستون \n",
    "\n",
    "province_name \n",
    "\n",
    "دیتافریم سمت راست موجود نیست. همچنین می‌بینیم که نام هفت استان موجود در ستون  \n",
    "\n",
    "province_name\n",
    "\n",
    "دیتافریم سمت راست، در ستون  \n",
    "\n",
    "Province\n",
    "\n",
    "دیتافریم سمت چپ نیامده است. در خصوص اردبیل، نکته این‌جاست که نحوه نوشتار این استان در دو دیتافریم با هم متفاوت است.\n",
    "\n",
    "برای تکمیل تحلیلمان، ما نحوه نوشتار استان‌ها را با هم منطبق می‌کنیم. سپس باید در خصوص اطلاعات ناقص باید تصمیمگیری کنیم. گاه می‌توانیم این اطلاعات را از جدول نهایی حذف کرد و به حساب نیاورد و گاه باید برای پیدا کردن اطلاعات ناقص به دنبال یک مجموعه داده سوم بود."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "I5ggnqoEv9GM"
   },
   "source": [
    "#### pd.merge نگاهی به"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "3SKmJoAbv6tl"
   },
   "source": [
    "<div dir=\"rtl\">\n",
    "\n",
    "در اینجا بار دیگر به تابع\n",
    "\n",
    "pd.merge\n",
    "\n",
    "\n",
    "نگاهی اجمالی خواهیم داشت. توضیحاتی که در این‌جا می‌آید حاوی پارامترهای مهمی است که به شما کمک می‌کند داده‌هایتان را به درستی ادغام کنید. فعلا نیازی نیست که جزئیات این ادغام را کاملا درک کنید. می‌توانید نگاهی سریع به آن بیاندازید تا نحوه عملکرد این ادغام تا حدی دستتان بیاید. بعدتر مثال‌هایی در این خصوص خواهیم زد. \n",
    "\n",
    "pd.merge() \n",
    "\n",
    "تابعی در کتابخانه پانداس است که برای ادغام دیتافریم‌ها در پایتون مورد استفاده قرار می‌گیرد. این تابع با کمک ستون یا نمایه مشترک، دیتافریم‌ها را با هم ادغام می‌کند و به شما این امکان را می‌دهد تا داده‌ها را با هم ترکیب و سپس اطلاعات نهایی را تحلیل کنید. این تابع حاوی چندین پارامتر است که نوع و نحوه ادغام را تعیین می‌کند:\n",
    "\n",
    "۱.  left\n",
    "\n",
    "دیتافریم اول یا سمت چپ را به عنوان دیتافریم اصلی در نظر می‌گیرد.\n",
    "\n",
    "\n",
    "۲.  right\n",
    "\n",
    "دیتافریم دوم یا سمت راست را به عنوان دیتافریم اصلی در نظر می‌گیرد.\n",
    "\n",
    "\n",
    "۳.  how\n",
    "\n",
    "نحوه ادغام را تعیین می‌کند. مثلا ادغام درونی، بیرونی و گزینه‌های چپ یا راست. ادغام چپ بیرونی، کلیدها یا همان\n",
    "\n",
    "keys\n",
    "\n",
    "دیتافریم سمت چپ را مرجع قرار می‌دهد و ادغام راست بیرونی برعکس. \n",
    "\n",
    "ادغام بیرونی تنها، کلیدهای هر دو دیتافریم را مرجع قرار می‌دهد و ادغام درونی تنها، کلیدهای مشترک را. \n",
    "\n",
    "\n",
    "۴.  on\n",
    "\n",
    "از پارامتر «آن» برای ادغام جداول بر اساس ستن‌ها استفاده می‌شود. برای استفاده از این پارامتر باید مطمئن باشیم که عنوان ستون‌ مدنظر در تمامی جداول یکی است.\n",
    "\n",
    "\n",
    "۵. left_on\n",
    "\n",
    "این پارامتر برای ادغام ستون‌های مشترک، ستون دیتافریم سمت چپ را مرجع قرار می‌دهد.\n",
    "\n",
    "\n",
    "۶. right_on\n",
    "\n",
    "این پارامتر برای ادغام ستون‌های مشترک، ستون دیتافریم سمت راست را مرجع قرار می‌دهد.\n",
    "\n",
    "\n",
    "۷.  left_index\n",
    "\n",
    "این پارامتر، فهرست یا نمایه دیتافریم سمت چپ را مرجع قرار می‌دهد.\n",
    "\n",
    "\n",
    "۸. right_index \n",
    "\n",
    "این پارامتر، فهرست یا نمایه دیتافریم سمت چپ را مرجع قرار می‌دهد.\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "sudokNSHU3ac"
   },
   "source": [
    "<h4 dir=\"rtl\">سخن آخر</h4>\n",
    "<div dir=\"rtl\">\n",
    "امیدوارم از آموزه‌های این نوت‌بوک لذت برده باشید. این نوت‌بوک نگاهی مقدماتی داشت به ایده ترکیب جداول. حال شما می‌توانید روش‌های بررسی شده در این نوت‌بوک را برای تحلیل داده‌های خود به کار ببرید.\n",
    "    </div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}