J14.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 14. час: Сортирање, филтрирање и фреквенцијска анализа\n",
    "\n",
    "На овом часу ћемо говорити о:\n",
    "1. преуређивању редова табеле како би се поређали по величини по неком критеријуму (_сортирање_);\n",
    "2. издвајању редова табеле који задовољавају неке услове (_филтрирање_); и\n",
    "3. бројању редова табеле који имају неке особине (_фреквенцијска анализа_)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 14.1. Сортирање података\n",
    "\n",
    "_Сортирати податке_ значи поређати их по величини. Да бисмо видели како се то ради у библиотеци _pandas_ прво ћемо учитати библиотеку:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "а онда ћемо направити табелу са подацима о групи деце коју смо већ користили, колонама ћемо дати одговарајућа имена и индексираћемо табелу именима деце:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "podaci = [[\"Ана\",     \"ж\", 13, 46, 160],\n",
    "          [\"Бојан\",   \"м\", 14, 52, 165],\n",
    "          [\"Влада\",   \"м\", 13, 47, 157],\n",
    "          [\"Гордана\", \"ж\", 15, 54, 165],\n",
    "          [\"Дејан\",   \"м\", 15, 56, 163],\n",
    "          [\"Ђорђе\",   \"м\", 13, 45, 159],\n",
    "          [\"Елена\",   \"ж\", 14, 49, 161],\n",
    "          [\"Жаклина\", \"ж\", 15, 52, 164],\n",
    "          [\"Зоран\",   \"м\", 15, 57, 167],\n",
    "          [\"Ивана\",   \"ж\", 13, 45, 158],\n",
    "          [\"Јасна\",   \"ж\", 14, 51, 162]]\n",
    "tabela = pd.DataFrame(podaci)\n",
    "tabela.columns=[\"Име\", \"Пол\", \"Старост\", \"Тежина\", \"Висина\"]\n",
    "tabela1 = tabela.set_index(\"Име\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ево како табела изгледа:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "tabela1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Хајде сада да сортирамо табелу по висини употребом функције `sort_values` (енгл. _sort_ значи \"сортирај, поређај по величини\", док _values_ значи \"вредности\").\n",
    "\n",
    "Овој функцији морамо да кажемо по ком критеријуму се сортирају подаци (по висини, тежини, старости, ...) тако што име одговарајуће колоне наведемо као вредност аргумента `by` (енгл. реч \"by\" значи свашта, али у овом контексту значи \"према\").\n",
    "\n",
    "Функција не мења полазну табелу, већ од ње прави нову:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "tabela1_po_visini = tabela1.sort_values(by=\"Висина\")\n",
    "tabela1_po_visini"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пошто нисмо навели како желимо да сортирамо податке (од најмањег ка највећем, или обрнуто) подаци су сортирани од најмањег ка највећем. Уколико желимо да сортирамо табелу по висини, али од највеће ка најмањој, потребно је то нагласити користећи параметар `ascending=False` (енгл. _ascending_ значи \"растуће\")."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "tabela1_po_visini = tabela1.sort_values(by=\"Висина\", ascending=False)\n",
    "tabela1_po_visini"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Хајде, за крај, да прикажемо податке из овако сортиране табеле."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "import matplotlib.pyplot as plt\n",
    "plt.figure(figsize=(10,5))\n",
    "plt.plot(tabela1_po_visini.index, tabela1_po_visini[\"Висина\"], label=\"Висина\")\n",
    "plt.plot(tabela1_po_visini.index, tabela1_po_visini[\"Тежина\"], label=\"Тежина\")\n",
    "plt.title(\"Висина и тежина деце у групи\")\n",
    "plt.legend()\n",
    "plt.show()\n",
    "plt.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 14.2. Филтрирање података\n",
    "\n",
    "Често је из табеле потребно издвојити редове који имају неке особине. На пример, ако желимо да издвојимо само оне редове табеле у којима су наведени подаци о девојчицама, то можемо урадити на следећи начин:\n",
    "\n",
    "    tabela1[tabela1.Пол == \"ж\"]\n",
    "\n",
    "Овај израз ће из табеле `tabela1` издвојити све редове код којих у колони \"Пол\" пише \"ж\". (Обратите пажњу на то да се приликом формирања критеријума у изразу `tabela1.Пол` не пишу наводници! Не питајте зашто...)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "devojke = tabela1[tabela1.Пол == \"ж\"]\n",
    "devojke"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На сличан начин можемо да издвојимо сву децу која имају преко 50 кг:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "preko_50kg = tabela1[tabela1.Тежина > 50]\n",
    "preko_50kg"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Критеријуме можемо и да комбинујемо. На пример, ако желимо да из табеле извучемо податке о свим дечацима са највише 55 кг треба из табеле да издвојимо податке који задовољавају два критеријума:\n",
    "\n",
    "    Тежина <= 55  и  Pol == \"м\".\n",
    "\n",
    "Логички везник \"и\" се у библиотеци `pandas` означава симболом `&`. Према томе, податке добијамо тако што табели проследимо следећи захтев за филтрирање:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "decaci_do_55kg = tabela1[(tabela1.Тежина <= 55) & (tabela1.Пол == \"м\")]\n",
    "decaci_do_55kg"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Приказаћемо, за крај, податке о тежини и висини ових дечака једним графиконом:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "plt.figure(figsize=(6,6))\n",
    "plt.bar(decaci_do_55kg.index, decaci_do_55kg[\"Висина\"], label=\"Висина\")\n",
    "plt.bar(decaci_do_55kg.index, decaci_do_55kg[\"Тежина\"], label=\"Тежина\")\n",
    "plt.title(\"Висина и тежина дечака до 55 кг у групи\")\n",
    "plt.legend()\n",
    "plt.show()\n",
    "plt.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 14.3. Фреквенцијска анализа\n",
    "\n",
    "\n",
    "Да се подсетимо, фреквенцијска анализа низа података се своди на то да се преброји колико се пута који податак појављује у низу. Док смо раније морали доста тога сами да урадимо, библиотека `pandas` има функцију `value_counts` која врши фреквенцијску анализу (енгл. _value_ значи \"вредност\", док _count_ значи \"бројати\"; дакле, пребројати вредности).\n",
    "\n",
    "Ево примера. Ако у табели са којом радимо желимо да пребројимо дечаке и девојчице, то можемо учинити позивом функције `value_counts` овако:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "tabela1[\"Пол\"].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Функција `value_counts` је у колони \"Пол\" пребројала све вредности и утврдила да се у тој колони вредност \"ж\" појављује 6 пута, док се вредност \"м\" појављује 5 пута.\n",
    "\n",
    "Ако желимо да утврдимо старосну структуру групе, применићемо функцију `value_counts` на колону \"Старост\":"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "tabela1[\"Старост\"].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Функција `value_counts` је у колони \"Старост\" пребројала све вредности и утврдила да се у тој колони вредности 15 и 13 појављују по 4 пута, док се вредност 14 појављује 3 пута.\n",
    "\n",
    "Ако резултат рада функције `value_counts` сместимо у променљиву:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "frekv = tabela1[\"Пол\"].value_counts()\n",
    "frekv"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "онда можемо лако да реконструишемо које су вредности уочене у табели, и које су њихове фреквенције. Наиме,\n",
    "\n",
    "    frekv.index\n",
    "    \n",
    "нам даје листу уочених вредности, док\n",
    "    \n",
    "    frekv.values\n",
    "\n",
    "даје њихове фреквенције."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "print(\"Вредности које се јављају у колони:\", frekv.index)\n",
    "print(\"Њихове фреквенције:\", frekv.values)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Полну структуру ове групе деце можемо да прикажемо секторским дијаграмом овако:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "import matplotlib.pyplot as plt\n",
    "frekv = tabela1[\"Пол\"].value_counts()\n",
    "plt.figure(figsize=(6,6))\n",
    "plt.pie(frekv.values, labels=frekv.index)\n",
    "plt.title(\"Полна структура групе\")\n",
    "plt.show()\n",
    "plt.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На сличан начин можемо да прикажемо старосну структуру групе:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "frekv = tabela1[\"Старост\"].value_counts()\n",
    "plt.figure(figsize=(6,6))\n",
    "plt.pie(frekv.values, labels=frekv.index)\n",
    "plt.title(\"Старосна структура групе\")\n",
    "plt.show()\n",
    "plt.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На адреси\n",
    "\n",
    "    https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv\n",
    "    \n",
    "се налази јавно доступан списак свих држава на свету. Ову табелу можемо лако учитати наредбом `read_csv`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "drzave = pd.read_csv(\"https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv\")\n",
    "drzave.head(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Број држава по континентима можемо видети овако:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "drzave[\"Region\"].value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Прикажимо број држава по континентима секторским дијаграмом:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "import matplotlib.pyplot as plt\n",
    "po_kontinentima = drzave[\"Region\"].value_counts()\n",
    "plt.figure(figsize=(8,8))\n",
    "plt.pie(po_kontinentima.values, labels=po_kontinentima.index)\n",
    "plt.title(\"Број држава по континентима\")\n",
    "plt.show()\n",
    "plt.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 14.4. Задаци"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задатак 1.** У датотеци _podaci/RekeSrbije.csv_ наведене су најдуже реке Србије, њихова укупна дужина у км, и дужина тока кроз Србију у км.\n",
    "\n",
    "_(а)_ Учитај податке у табелу (табела има заглавље), и прикажи првих неколико редова табеле."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " \n",
    "_(б)_ Сортирај табелу по дужини тока реке кроз Србију."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(в)_ За наведене реке прикажи линијским дијаграмом укупну дужину, и дужину тока реке кроз Србију."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(г)_ Од дате табеле направи нову у којој су издвојене само оне реке које бар половину свог тока протичу кроз Србију, па тако добијену табелу упиши у датотеку _podaci/Reke2.csv_ водећи рачуна о томе да су неки подаци у табели записани ћирилицом."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задатак 2.** Нутритивни подаци за неке рибе и морске плодове су дати у следећој табели:\n",
    "\n",
    "| Намирница (100г) | Енергетска вредност (kcal) | Угљени хидрати (г) | Беланчевине (г) | Масти (г) |\n",
    "|--|--|--|--|--|\n",
    "|Туна|116|0|26|1|\n",
    "|Ослић|88|0|17.2|0.8|\n",
    "|Пастрмка|119|0|18|5|\n",
    "|Лосос|116|0|20|3.5|\n",
    "|Скуша|205|0|19|14|\n",
    "|Сардине|135|0|18|5|\n",
    "|Харинга|158|0|18|9|\n",
    "|Бакалар|82|0|18|0.7|\n",
    "|Сом|95|0|16.4|2.8|\n",
    "|Шаран|127|0|17.6|5.6|\n",
    "|Орада|115|0|16.5|5.5|\n",
    "|Јегуља|184|0|18.4|11.7|\n",
    "|Шкампи|106|1|20|2|\n",
    "|Дагње|86|4|12|2|\n",
    "|Козице|71|1|13|1|\n",
    "|Лигње|92|3|15.6|1.3|\n",
    "|Хоботница|81|0|16.4|0.9|\n",
    "|Јастог|112|0|20|1.5|\n",
    "\n",
    "Подаци из табеле су представљени листом у ћелији испод:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# изврши ову ћелију\n",
    "morski_plodovi = [\n",
    "  [\"Туна\", 116, 0, 26, 1],\n",
    "  [\"Ослић\", 88, 0, 17.2, 0.8],\n",
    "  [\"Пастрмка\", 119, 0, 18, 5],\n",
    "  [\"Лосос\", 116, 0, 20, 3.5],\n",
    "  [\"Скуша\", 205, 0, 19, 14],\n",
    "  [\"Сардине\", 135, 0, 18, 5],\n",
    "  [\"Харинга\", 158, 0, 18, 9],\n",
    "  [\"Бакалар\", 82, 0, 18, 0.7],\n",
    "  [\"Сом\", 95, 0, 16.4, 2.8],\n",
    "  [\"Шаран\", 127, 0, 17.6, 5.6],\n",
    "  [\"Орада\", 115, 0, 16.5, 5.5],\n",
    "  [\"Јегуља\", 184, 0, 18.4, 11.7],\n",
    "  [\"Шкампи\", 106, 1, 20, 2],\n",
    "  [\"Дагње\", 86, 4, 12, 2],\n",
    "  [\"Козице\", 71, 1, 13, 1],\n",
    "  [\"Лигње\", 92, 3, 15.6, 1.3],\n",
    "  [\"Хоботница\", 81, 0, 16.4, 0.9],\n",
    "  [\"Јастог\", 112, 0, 20, 1.5]]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(а)_ Од ове листе у ћелији испод направи _DataFrame_ и дај колонама табеле погодна имена. Предлажемо да свакој колони даш име које ће бити само једна реч (рецимо \"Намирница\", \"ЕнергВр\", \"УХ\", \"Бел\", \"Масти\") како би у каснијим задацима лакше именовао колоне табеле."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(б)_ Сортирај табелу по енергетској вредности намирнице од највеће ка најмањој вредности и прикажи хистограмом тако сортиране енергетске вредности."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(в)_ Од овако сортиране табеле направи нову у којој су само оне намирнице које не садрже угљене хидрате и имају мање од 10 г масти на 100 г намирнице."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(г)_ Направи фреквенцијску анализу ових података према количини угљених хидрата и прикажи резултате анализе секторским дијаграмом."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задатак 3.** Ученици једног разреда су скакали у даљ. Сваки ученик је скакао три пута и резултати су дати у датотеци _SkokUDalj.csv_ која се налази у фолдеру _podaci_. Табела има заглавље и састоји се од четири колоне: \"Презиме и име\", \"Скок1\", \"Скок2\" и \"Скок3\".\n",
    "\n",
    "_(а)_ Учитај датотеку у структуру података _DataFrame_."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(б)_ Додај табели нову колону \"Макс\" и онда за сваког ученика израчунај и у ту колону упиши његов најбољи скок."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(в)_ Сортирај табелу по колони \"Макс\" и прикажи првих пет редова тако сортиране табеле (да видимо ко су најбољи скакачи у разреду)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задатак 4.** На адреси\n",
    "\n",
    "    https://raw.githubusercontent.com/resbaz/r-novice-gapminder-files/master/data/gapminder-FiveYearData.csv\n",
    "\n",
    "се налази јавно доступна табела са списком држава света и неким параметрима економског развоја тих држава праћеним у интервалима од 5 година.\n",
    "\n",
    "Табела има следеће колоне:\n",
    "\n",
    "* country = држава\n",
    "* year = година на коју се односе подаци\n",
    "* pop = број становника (енгл. _population_)\n",
    "* continent = континент\n",
    "* lifeExp = очекивани животни век у годинама (енгл. _life expextancy_)\n",
    "* gdpPercap = БДП по глави становника у америчким доларима (енгл. _GDP per capitem_)\n",
    "\n",
    "_(а)_ Учитај ову табелу у структуру података _DataFrame_."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(б)_ У нову табелу издвој податке који се односе на Србију (Упутство: `tabela[tabela.country == \"Serbia\"]`)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(в)_ Прикажи линијским дијаграмом како се мењао очекивани животни век грађана Србије за године за које постоје подаци у табели."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(г)_ Прикажи хистограмом како се мењао БДП по глави становника Србије за године за које постоје подаци у табели."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "_(д)_ Табелу која се односи на Србију упиши у датотеку _FYDSerbia.csv_ (сви подаци у табели су записани енглеским алфабетом па нема муке око система за кодирање података), али тако да у датотеку не упишемо индексну колону."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}