CPDigital_10-07-2020.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "kernelspec": {
      "display_name": "Python 3",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.7.3"
    },
    "colab": {
      "name": "#CPDigital.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "include_colab_link": true
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/triatebr/aprenda-python/blob/master/CPDigital_10-07-2020.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "SAvQdmy03T0N",
        "colab_type": "text"
      },
      "source": [
        "![texto alternativo](https://imagens-voitto.s3.amazonaws.com/imagens-blog/meta/963b9ed4a8402803a51366d488f444b5.jpg)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "JUGEG_Swx40U",
        "colab_type": "text"
      },
      "source": [
        "O que é **Estatística Descritiva?**<p>\n",
        "Estatística descritiva é o ramo da estatística que visa sumarizar e descrever <p>qualquer conjunto de dados. <p>Em outras palavras, é aquela estatística que está preocupada <p>em sintetizar os dados de maneira direta, se preocupando menos com variações <p>e intervalos de confiança dos dados. <p>Exemplos de estatísticas descritivas são a média, o desvio padrão, a mediana, etc.<p>\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PnsGpn78x40X",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# vamos importar as bibliotecas que utilizaremos\n",
        "import pandas as pd\n",
        "import numpy as np\n",
        "import matplotlib.pyplot as plt\n",
        "import seaborn as sns\n",
        "import datetime \n",
        "%matplotlib inline"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RdXw6jtw4A71",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "#upload do arquivo dados.csv\n",
        "from google.colab import files\n",
        "uploaded = files.upload()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "AEL3Hlb0x40d",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# geração do Dataframe\n",
        "dados = pd.read_csv('bank-full.csv', delimiter=';')"
      ],
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "E_pJuOMcx40h",
        "colab_type": "text"
      },
      "source": [
        "**Dados utilizados**\n",
        "\n",
        "Para o exemplo da aula de hoje utilizaremos um [dataset de Marketing](https://archive.ics.uci.edu/ml/datasets/Bank+Marketing).<p>Ele demonstra valores de campanha de telemarketing de banco portugues."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2dpNnQ-zx40i",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# visualizar as 5 primeiras linhas\n",
        "dados.head()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "QDJSjMmI4hue",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# mas poderiam ser a 5 últimas\n",
        "dados.tail()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "AYpuYcPG4rPw",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# vamos analisar o Dataframe gerado\n",
        "# listar os tipos de campos envovlidos\n",
        "dados.info()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RPwsyVrW49En",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# descritivo estatístico do Dataframe\n",
        "dados.describe()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Tnqit7hcCqzs",
        "colab_type": "text"
      },
      "source": [
        "**Dados --> Informação/Conhecimento --> Inteligência**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Gc53j6ZwDOkd",
        "colab_type": "text"
      },
      "source": [
        "![alt text](https://miro.medium.com/max/1400/0*LLW8pyeOVTYZjGpJ.png)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4LdCFxOSDSJb",
        "colab_type": "text"
      },
      "source": [
        "[link da imagem](https://medium.com/@henriquebraga_18075/estat%C3%ADstica-descritiva-conceitos-b%C3%A1sicos-f715e5ae7fe2)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ijALMGddx40y",
        "colab_type": "text"
      },
      "source": [
        "A Estatística trabalha com diversas informações que são apresentadas por meio de gráficos e tabelas <p>e com diversos números que representam e caracterizam um determinado conjunto de dados. <p>Dentre todas as informações, podemos retirar valores que representem, de algum modo, todo <p>o conjunto. Esses valores são denominados <p>**“Medidas de Tendência Central ou Medidas de Centralidade”**.<p>\n",
        "As medidas de centralidade que apresentaremos são a **Média Aritmética**, a **Moda** e a **Mediana**."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "bXlX2rgwx400",
        "colab_type": "text"
      },
      "source": [
        "# Média"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "4ow_ULEix402",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Vamos começar pela MÉDIA ARITMÉTICA, mais simples e fácil de aprender / conceituar\n",
        "# É determinada pelo resultado da divisão do somatório dos números dados pela quantidade de números somados.\n",
        "# No python usamos a função 'mean()'\n",
        "print(dados['duration'].mean())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DC43jApVx408",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Agora vamos calcular/exibir a media da informação de 'age' (idade) dos clietnes \n",
        "print(dados['age'].mean())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "GzhXyUROx41A",
        "colab_type": "text"
      },
      "source": [
        "# Mediana"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gY0FuzvMx41B",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Agora chegou a vez da MEDIANA, vc já deve ter visto alguma vez! Senão viu ... aprende ae\n",
        "# Mediana é a medida de tendência central que indica exatamente o valor central de um conjunto \n",
        "# de dados quando organizados em ordem crescente ou decrescente.\n",
        "print(dados['duration'].median())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LGtSnFD8x41G",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(dados['age'].median())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "rfA0QNJLx41O",
        "colab_type": "text"
      },
      "source": [
        "A Mediana é um conceito menos suscetível a valores discrepantes do que a média.<p>\n",
        "Vamos imaginar que analisando o sálário de um grupo de amigos (18 pessoas), <p>4 deles recebam mensalmente valores muitos altos\n",
        "comparados ao restante. <p>A Média nesse caso pode ser 'facilmente' contaminada por tais valores.<p>\n",
        "Mais pra frente abordaremos algo sobre **'OUTLIERS'**, os valores citados."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "POwcM40sx41Z",
        "colab_type": "text"
      },
      "source": [
        "# Amplitude"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "XHMVhQ0ex41a",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# A amplitude nada mais é do que a diferença entre o maior e o menor valor de um conjunto de dados.\n",
        "print(dados['duration'].max() - dados['duration'].min())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "3apwUwaox41e",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(dados['age'].max() - dados['age'].min())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "HDQgt8uVx41i",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(dados['age'].max())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nI83I_YXx41n",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(dados['age'].min())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7lU-1rhEx41t",
        "colab_type": "text"
      },
      "source": [
        "# Variância"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "mnxI9xkox41u",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Dado um conjunto de dados, a variância é uma medida de dispersão que mostra o quão distante cada valor desse conjunto \n",
        "# está do valor central (médio)\n",
        "print(dados['duration'].var())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ntRgzbk8x41z",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(dados['age'].var())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "YwhdOASsx413",
        "colab_type": "text"
      },
      "source": [
        "# Desvio Padrão"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "VwIhe6wbx419",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# O desvio padrão também é uma medida de dispersão, que indica quanto os dados estão afastados da média. \n",
        "# Um valor de desvio padrão alto indica que os valores estão mais espalhados, mais longe da média, e \n",
        "# um desvio padrão baixo indica que os valores estão mais próximos da média. \n",
        "print(dados['duration'].std())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BtENcVnEx42B",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(dados['age'].std())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "os7S1X06x42d",
        "colab_type": "text"
      },
      "source": [
        "# Outliers"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "XqLQid_3x42e",
        "colab_type": "text"
      },
      "source": [
        "Em estatística, **outlier** , valor aberrante ou valor atípico, é uma observação que apresenta <p> um grande afastamento das demais da série (que está \"fora\" dela), ou que é inconsistente. <p>A existência de outliers implica, tipicamente, em prejuízos a interpretação <p>dos resultados dos **testes estatísticos** aplicados às amostras."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DOHzglcpx42e",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "#Nº de linhas e colunas\n",
        "dados.shape"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "65j96n6gx42j",
        "colab_type": "text"
      },
      "source": [
        "Exemplo:\n",
        "![logos](https://psucd8.files.wordpress.com/2011/10/outlierscatterplot_10001.gif)"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZaYUTc6Ex42k",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Lista com as colunas numéricas que não são necessariamente contínuas\n",
        "numerical_columns = [col for col in dados.columns if (dados[col].dtype=='int64' or dados[col].dtype=='float64')]"
      ],
      "execution_count": 21,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9IP7bV2Ox42n",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        },
        "outputId": "07d56c1f-fea2-48f1-b5f2-5a00f917df0a"
      },
      "source": [
        "numerical_columns"
      ],
      "execution_count": 22,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['age', 'balance', 'day', 'duration', 'campaign', 'pdays', 'previous']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 22
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qxfr3kmgx42t",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# vamos extrair info's dessas colunas\n",
        "dados[numerical_columns].describe().loc[['min', 'max', 'mean', '50%'],:]"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "fz_UYCJkx42x",
        "colab_type": "text"
      },
      "source": [
        "Repara-se que há no **Balance** um valor de '-8019' ! Estranho neh<p>\n",
        "Com certeza há um registro 'bagunçando' **tudo**<p>\n",
        "    Vamos analisa-lo!"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BPUboEQPx42y",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "dados[dados['balance'] == dados['balance'].min ()]"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4YNpincNx421",
        "colab_type": "text"
      },
      "source": [
        "O registro '12909' está muito diferente dos demais, se usássemos ,<p>para algum modelo ou estudo estatístico caberia a nós decidirmos <p>a **deleção** do mesmo.<p> Caso escolhessemos por apagar o registro, a sintaxe é **simples**."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uDWu6xgWx422",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "dados.drop(dados.index[12909], inplace=True)"
      ],
      "execution_count": 25,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Z86GxSe8x427",
        "colab_type": "text"
      },
      "source": [
        "# Covariância"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "UBP56jPsx428",
        "colab_type": "text"
      },
      "source": [
        "Em alguns momentos, queremos saber se **duas variáveis** possuem alguma relação <p>entre si dentro de um conjunto de dados. Para estes casos, calculamos a covariância <p>e a correlação.\n",
        "\n",
        "A **covariância** é uma medida numérica que indica a inter-dependência entre duas <p>variáveis. A covariância indica como duas variáveis se comportam conjuntamente <p>em relação às suas médias. Uma covariância igual a 0 indica que as duas variáveis <p>são totalmente independentes, enquanto que uma covariância alta e positiva indica <p>que uma variável é grande quando a outra é grande. <p>Analogamente, uma covariância negativa e com valor absoluto alto indica que <p>uma variável é pequena quando a outra é grande. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BuE_VmrVx428",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Uma matriz com as colunas é gerada, comparando quanto uma possuí de Covariância em relação a outra \n",
        "print(dados.cov())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Xyg-iwiox43B",
        "colab_type": "text"
      },
      "source": [
        "# Correlação"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "IxfUAl7Ix43B",
        "colab_type": "text"
      },
      "source": [
        "A **covariância**, entretanto, pode ser difícil de ser compreendida e comparada<p>, pois ela nos dá valores em escalas que serão diferentes conforme as variáveis <p>mudem. Para uma melhor comparação, normalizamos a covariância para <p>ter um valor que sempre estará entre 1 e -1, que é a correlação. <p>Logo, a **correlação** também é outra medida que indica o quanto duas variáveis <p>estão relacionadas. Seu valor fica sempre entre -1, que indica uma anti-correlação <p>perfeita, e 1 que indica uma correlação perfeita."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "vkmpfNdhx43C",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Outra matriz é gerada para comparação das colunas entre si\n",
        "print(dados.corr())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "fH9pL5BQx43G",
        "colab_type": "text"
      },
      "source": [
        "Entretanto, é necessário cuidado ao **avaliar as correlações**. Alguns dados podem indicar uma correlação que não existe de fato, e é apenas obra do acaso, o que é possível em certos casos onde variáveis apresentam algum tipo de padrão que pode levar a este valor de correlação.<p>\n",
        "\n",
        "Por fim, também é importante atentar para o famoso conceito que diz que “**correlação não implica causalidade**”. O que isso quer dizer é, quando duas variáveis apresentam um alto valor de correlação, pode ser que a primeira variável cause este comportamento na segunda, que a segunda causa este comportamento na primeira, que ambas causam o comportamento na outra ou isso também pode não dizer nada, como nos casos que mencionamos acima. <p>O segredo para não cair nesta armadilha é conhecer bem os dados, para que se possa fazer sempre uma avaliação criteriosa, caso a caso."
      ]
    }
  ]
}