02_python/1803@awel-kanton-zuerich.ipynb

{"cells": [{"cell_type": "markdown", "id": "db7f08c1", "metadata": {}, "source": ["## Open Government Data, provided by **Canton Zurich**\n", "*Autogenerated Python starter code for data set with identifier* **1803@awel-kanton-zuerich**"]}, {"cell_type": "markdown", "id": "164c4327", "metadata": {}, "source": ["## Dataset\n", "# **Abfallmengen und Abfallgeb\u00fchren in den Gemeinden im Kanton Z\u00fcrich ab 2000**"]}, {"cell_type": "markdown", "id": "46d13c8b-4ac3-4e2f-940f-0c14ec5b7c0d", "metadata": {}, "source": ["## Description\n", "\n", "J\u00e4hrlich aktualisierte Zeitreihen der kommunalen Abfallmengen nach Abfallarten und der Abfallgeb\u00fchren nach Gemeinden. Mehr Info in den Beschreibungen der Ressourcen."]}, {"cell_type": "markdown", "id": "cad813bb-c986-4bb4-b52b-f78bb608086f", "metadata": {}, "source": ["## Data set links\n", "\n", "[Direct data shop link for dataset](https://www.zh.ch/de/politik-staat/statistik-daten/datenkatalog.html#/datasets/1803@awel-kanton-zuerich)"]}, {"cell_type": "markdown", "id": "9d4813e9", "metadata": {}, "source": ["## Metadata\n", "- **Issued** `2022-11-07T13:23:18`\n- **Modified** `2023-08-18T12:03:12`\n- **Startdate** `2000-01-01`\n- **Enddate** `2021-12-31`\n- **Theme** `['Raum, Umwelt']`\n- **Keyword** `['abfall', 'abfallentsorgung', 'altglas', 'karton', 'kehricht', 'papier', 'recycling', 'siedlungsabfaelle', 'sperrgut', 'kunststoff', 'textilien', 'strassenabfall', 'abfallgebuehren', 'altoel', 'ogd']`\n- **Publisher** `['Amt f\u00fcr Abfall, Wasser, Energie und Luft des Kantons Z\u00fcrich']`\n- **Landingpage** `https://www.zh.ch/de/politik-staat/gesetze-beschluesse/gesetzessammlung/zhlex-ls/erlass-712_1-1994_09_25-2001_01_01-085.html`\n"]}, {"cell_type": "markdown", "id": "8a857d65", "metadata": {"jp-MarkdownHeadingCollapsed": true, "tags": []}, "source": ["## Imports and helper functions"]}, {"cell_type": "code", "execution_count": null, "id": "93b39602-1c1e-46d2-ae70-1716b1481e9b", "metadata": {"tags": []}, "outputs": [], "source": ["%matplotlib inline\n", "import matplotlib.pyplot as plt\n", "plt.style.use('ggplot')\n", "\n", "params = {\n", "    'text.color': (0.25, 0.25, 0.25),\n", "    'figure.figsize': [18, 6],\n", "   }\n", "\n", "plt.rcParams.update(params)\n", "\n", "import pandas as pd "]}, {"cell_type": "code", "execution_count": null, "id": "aa6611d7-e1c0-40a7-b0ff-601a8ef8439b", "metadata": {"tags": []}, "outputs": [], "source": ["# helper function for reading datasets with proper separator\n", "def get_dataset(url):\n", "    if url[-3:] != \"csv\":\n", "        print(\"The data set URL has no proper 'csv' extension. Reading the dataset might not have worked as expected.\\nPlease check the dataset link and adjust pandas' read_csv() parameters accordingly.\")\n", "    data = pd.read_csv(url, sep=\",\", on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "    # if dataframe only has one column or less the data is not comma separated, use \";\" instead\n", "    if data.shape[1] <= 1:\n", "        data = pd.read_csv(url, sep=';', on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "        if data.shape[1] <= 1:\n", "            print(\"The data wasn't imported properly. Very likely the correct separator couldn't be found.\\nPlease check the dataset manually and adjust the code.\")\n", "    return data"]}, {"cell_type": "markdown", "id": "02ce518f", "metadata": {}, "source": ["## Load data\n", "\n", "- The dataset has **`2` distribution(s)** in CSV format.\n", "- All available CSV distributions are listed below and can be read into a pandas dataframe."]}, {"cell_type": "code", "execution_count": null, "id": "0", "metadata": {"tags": []}, "outputs": [], "source": "# Distribution 0\n# Ktzhdistid               : 3460\n# Title                    : Abfallmengen nach Abfallarten und Gemeinden\n# Description              : Der Datensatz zeigt die Gesamtmenge der Siedlungsabf\u00e4lle aus Haushalten und Betrieben, die bei der kommunalen Sammlung gesammelt wurden. Direkte Anlieferungen an Kehrichtverbrennungsanlagen und private Entsorgungsl\u00f6sungen, die nicht den kommunalen Weg nutzen, sind nicht enthalten. Die Siedlungsabf\u00e4lle werden unterteilt in die Abfallarten Kehricht (einschliesslich Sperrgut), zum Recycling bestimmte Abf\u00e4lle wie Altglas, Papier und Karton, Kunststoffe, Metalle, Alt\u00f6l, biogene Abf\u00e4lle sowie Textilien. Zudem werden mineralische Abf\u00e4lle (Grubengut) erfasst. Seit 2007 werden auch Strassenabf\u00e4lle aus Strassenwischern und Strassensammlerschl\u00e4mme erfasst. Werte unter 500 kg werden auf 0 Tonnen abgerundet. Einige Gemeinden stellen nicht f\u00fcr alle Abfallarten Daten zur Verf\u00fcgung, insbesondere f\u00fcr Kunststoffe und Textilien. Eintr\u00e4ge mit (\u2018NA\u2019) bedeuten, dass diese Abfallart in der Gemeinde nicht gesammelt wird oder keine Mengenangabe erfolgte.\n# Issued                   : 2022-11-07T13:23:18\n# Modified                 : 2023-08-21T16:36:50\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001803_00003460.csv')\n\n# Distribution 1\n# Ktzhdistid               : 3461\n# Title                    : Abfallgeb\u00fchren nach Gemeinden\n# Description              : Die Abfallgeb\u00fchren sind in CHF inkl. MWST angegeben und werden als Abfallgrundgeb\u00fchr (\u2018Grundgebuehr\u2019) und Preis pro 35-Liter-Geb\u00fchrensack (\u201835-L-Sack\u2019) ausgewiesen. Die Geb\u00fchren gelten f\u00fcr Privathaushalte. Die \u2018Grundgebuehr\u2019 gilt pro Kalenderjahr und wird zur Vergleichbarkeit von den Gemeinden auf eine Geb\u00fchr f\u00fcr eine 4-Zimmer-Wohnung umgerechnet. Es gibt Ausnahmen, bei denen eine solche Umrechnung nicht vorgenommen wird. Diese F\u00e4lle werden mit \u20180\u2019 erfasst. Ebenso mit \u20180\u2019 erfasst sind Gemeinden, wo keine Grundgeb\u00fchr erhoben wird.\n# Issued                   : 2022-11-07T13:23:18\n# Modified                 : 2024-02-26T11:56:23\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001803_00003461.csv')\n\n"}, {"cell_type": "markdown", "id": "4ce1f78f", "metadata": {}, "source": ["## Analyze data"]}, {"cell_type": "code", "execution_count": null, "id": "3e3dab86", "metadata": {}, "outputs": [], "source": ["# drop columns that have no values\n", "df.dropna(how='all', axis=1, inplace=True)"]}, {"cell_type": "code", "execution_count": null, "id": "841bd8d2", "metadata": {}, "outputs": [], "source": ["print(f'The dataset has {df.shape[0]:,.0f} rows (observations) and {df.shape[1]:,.0f} columns (variables).')\n", "print(f'There seem to be {df.duplicated().sum()} exact duplicates in the data.')"]}, {"cell_type": "code", "execution_count": null, "id": "75e73c96", "metadata": {}, "outputs": [], "source": ["df.info(memory_usage='deep', verbose=True)"]}, {"cell_type": "code", "execution_count": null, "id": "02f3df4d", "metadata": {}, "outputs": [], "source": ["df.head()"]}, {"cell_type": "code", "execution_count": null, "id": "a0d7d898", "metadata": {}, "outputs": [], "source": ["# display a small random sample transposed in order to see all variables\n", "df.sample(3).T"]}, {"cell_type": "code", "execution_count": null, "id": "786806dd", "metadata": {}, "outputs": [], "source": ["# describe non-numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(exclude='number'))\n", "except:\n", "    print(\"No categorical data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "e744a6b6", "metadata": {}, "outputs": [], "source": ["# describe numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(include='number'))\n", "except:\n", "    print(\"No numercial data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "7a65d95d", "metadata": {}, "outputs": [], "source": ["# check missing values with missingno\n", "# https://github.com/ResidentMario/missingno\n", "import missingno as msno\n", "msno.matrix(df, labels=True, sort='descending');"]}, {"cell_type": "code", "execution_count": null, "id": "fcc604b7", "metadata": {}, "outputs": [], "source": ["# plot a histogram for each numerical feature\n", "try:\n", "    df.hist(bins=25, rwidth=.9)\n", "    plt.tight_layout()\n", "    plt.show()\n", "except:\n", "    print(\"No numercial data to plot.\") "]}, {"cell_type": "code", "execution_count": null, "id": "e13cc6eb", "metadata": {}, "outputs": [], "source": ["# continue your code here..."]}, {"cell_type": "code", "execution_count": null, "id": "18886378", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "59fce071", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "f42f25aa", "metadata": {}, "outputs": [], "source": []}, {"attachments": {}, "cell_type": "markdown", "id": "c6b87d83", "metadata": {}, "source": ["**Questions about the data?** Amt f\u00fcr Abfall, Wasser, Energie und Luft des Kantons Z\u00fcrich | Abteilung Abfallwirtschaft und Betriebe - Sektion Abfallwirtschaft | info.aw@bd.zh.ch"]}], "metadata": {"kernelspec": {"display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3"}, "language_info": {"codemirror_mode": {"name": "ipython", "version": 3}, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.8.15"}}, "nbformat": 4, "nbformat_minor": 5}