module-3/3-6_selection_indexation.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "authorship_tag": "ABX9TyPeJq8FazBrFAI/DnQKcxiz",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "ir",
      "display_name": "R"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/Cours-EDUlib/FAS-ISDS/blob/main/3-6_selection_indexation.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "I7kahDLv65Z6"
      },
      "source": [
        "# Installation et chargement des modules nécessaires\n",
        "install.packages(\"questionr\", dep = TRUE) \n",
        "library(\"questionr\")\n",
        "\n",
        "\n",
        "# Téléchargement de la base de données hdv2003 du module questionr\n",
        "# (Extrait de l'enquête \"Histoire de vie\" de l'Insee - https://www.insee.fr/fr/statistiques/2532244)\n",
        "data(hdv2003)\n",
        "\n",
        "# Copie de la base de données dans un objet (datatable) nommé bd\n",
        "bd <- hdv2003"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Ffodc0ZdtAM2"
      },
      "source": [
        "# Indexation \n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "h--gL7Yut-oc"
      },
      "source": [
        "\n",
        "*   Fonctionnalité permettant d’utiliser des opérateurs afin de sélectionner des variables/observations en fonction de différents critères.\n",
        "*   **Trois types** d'indexation: 1) par *position (directe)*, 2) par *nom*, 3) par *conditions logiques*.\n",
        "*   Tous reposent sur le même principe: on utilise des **opérateurs** - soit des crochets (**[ ]**, **[[ ]]**) ou le signe **$** (si l’élément est nommé) pour identifier les valeurs spécifiques que l’on souhaite sélectionner ou pas.\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "6MnC9XNf3idT"
      },
      "source": [
        "# Rappel: un dataframe est composé de deux dimensions: rangées et colonnes\n",
        "# Chaque élément qui compose ces dimensions (observations/variables) est \"indexé\"\n",
        "\n",
        "dim(bd)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FXb13AkjuiSZ"
      },
      "source": [
        "### 1. Par position (directe): Indique le rang du ou des éléments à sélectionner\n",
        "\n",
        "> **NomObjet[rangée, colonne]**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pvBsxudynHAC"
      },
      "source": [
        "####1.1.   Pour sélectionner une ou plusieurs variables\n",
        "\n",
        "*   NomObjet[rangée, **colonne**] "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "elA-ORbOZ57P"
      },
      "source": [
        "bd[ ,2]        # Sélectionner la deuxième variable "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "M5xq5_oxZ_5f"
      },
      "source": [
        "bd[ ,3:6]\t    # Sélectionner les variables 3 à 6 (notez l'opérateur `:`, raccourci de la fonction `seq()`)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "epDZ3MdIaECQ"
      },
      "source": [
        "bd[ ,c(3,6)]\t# Sélectionner les variables 3 et 6 (peut aussi sélectionner dans le désordre)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PKYKd7SsvWhK"
      },
      "source": [
        "bd[ ,-2]    \t# Sélectionner toutes les variables sauf la deuxième "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "UMsFNKWyvZ_Z"
      },
      "source": [
        "bd[ ,-(3:6)]\t# Toutes les variables sauf 3 à 6 "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uy63kRPhvpYo"
      },
      "source": [
        "bd[ ,-c(3,6)]\t# Toutes les variables sauf 3 et 6 "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "KIdQFX_5xP1S"
      },
      "source": [
        "####1.2. Pour sélectionner une ou plusieurs observations (même principe, mais de l'autre côté de la virgule)\n",
        "*   objet[**rangée**, colonne]\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WwfaIiBVx5xZ"
      },
      "source": [
        "bd[3:6, ]       # Sélectionner les observations de 3 à 6"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DMD8i6mCyGxo"
      },
      "source": [
        "####1.3. Pour sélectionner des variables ET des observations"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "IQyDWaIayKvo"
      },
      "source": [
        "bd2 <- bd[1:100, c(1:5,10)] # Sélectionner les 100 premières observations et les variables de 1 à 5 et 10"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Bt_VCuvRweaL"
      },
      "source": [
        "*Pour créer une nouvelle base contenant une sélection de variables/observations, simplement placer la sélection dans un nouvel objet: bd2 <-*"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uECWLNV8zxxe"
      },
      "source": [
        "bd2 # voir le contenu de la nouvelle bd2"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7tot7W3rKuQK"
      },
      "source": [
        "\n",
        "\n",
        "---\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "bL_ziFW-y9d4"
      },
      "source": [
        "###2. Par nom: Indique le nom du ou des éléments à sélectionner"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "2rNWKtKgIwXB"
      },
      "source": [
        "####2.1. Opérateur [ ]"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "70wGgBk80z1g"
      },
      "source": [
        "bd[\"relig\"] # Sélectionner une variable (contenu textuel entre guillemets simples ou doubles)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "11sPBkiJ0Zip"
      },
      "source": [
        "bd[ ,c(\"occup\", \"relig\")] # Sélectionner deux variables "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "HScjLR601BE2"
      },
      "source": [
        "On peut aussi mélanger les deux types d'indexation\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "hX8xUPzk1DIH"
      },
      "source": [
        "bd[1:100, c(\"id\", \"age\", \"sexe\", \"nivetud\", \"relig\")] # Sélectionner les 100 premières observations par position et 5 variables par nom"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "maEweD11IHfc"
      },
      "source": [
        "####2.2. Opérateur $\n",
        "Symbole \"raccourci\" pour rapidement sélectionner un seul élément nommé"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "N-_wh67sK0RR"
      },
      "source": [
        "bd$sexe # Sélectionner la variable sexe"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "3oAgxQi7WHGM"
      },
      "source": [
        "bd$sexe[10:20] # Sélectionner les observations de 10 à 20 par position de la variable sexe\n",
        "\n",
        "# La virgule n'est plus nécessaire puisque l'on applique notre condition à un élément qui n'a qu'une dimension, ie une variable"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ytwYhkURnOCA"
      },
      "source": [
        "length(bd$sexe) # Nombre d'observations"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ki_ZlSSYnICQ"
      },
      "source": [
        "str(bd$sexe) # Structure de la variable "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "GIKTNnABnAY4"
      },
      "source": [
        "head(bd$sexe) # Premières observations de la variable"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6Q3BniOTNlqS"
      },
      "source": [
        "\n",
        "\n",
        "---\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "uPx8DAFh2hFw"
      },
      "source": [
        "### 3. Par condition (opération logique)\n",
        "\n",
        "Sélection d'observations qui remplissent une ou plusieurs conditions en utilisant les opérateurs: ==, !=, <, >, <=, >="
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "llfFeLHtO89B"
      },
      "source": [
        "####3.1. Sélectionner selon une valeur de variable \n",
        "\n",
        "*Sélectionner les observations ayant la valeur \"Femme\" à la variable \"sexe\"* :"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4eZdCcXUPOC_"
      },
      "source": [
        "\n",
        "\n",
        "1.   Créer d'abord une condition qui teste si la valeur de sexe est \"Femme\" et retourne une liste logique de vrai ou faux\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RiOILyNx3CD-"
      },
      "source": [
        "bd$sexe==\"Femme\""
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "nHSJ3qPy4UKP"
      },
      "source": [
        "ou procéder par la négative avec le sauf \"!=\"\n",
        "\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "7Uz2quziPo-5"
      },
      "source": [
        "bd$sexe != \"Homme\" # (ne peut utiliser le \"-\" comme dans l'indexation directe)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dy8XtaGhPtWf"
      },
      "source": [
        "\n",
        "2.   Appliquer cette condition de sélection entre crochet à l'objet voulu (bd) pour créer une nouvelle base composée du sous-ensemble correspondant à TRUE\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1lHMbzldPzHf"
      },
      "source": [
        "bd.f <- bd[bd$sexe==\"Femme\", ]\n",
        "bd.m <- bd[bd$sexe==\"Homme\", ]"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1pBpYgyU01TB"
      },
      "source": [
        "bd.m"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "QAebeyCndlvF"
      },
      "source": [
        "####3.2. Sélectionner selon plusieurs conditions appliquées à une même variable\n",
        "\n",
        "*Sélectionner les répondants à la retraite ou au foyer (variable occup)*"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tdBoX4MUQNQ3"
      },
      "source": [
        "bd[bd$occup == \"Retraite\" | bd$occup == \"Au foyer\", ] # avec l'opérateur | (ou)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "LjK4Nga-QnOP"
      },
      "source": [
        "####3.3. Sélectionner selon plusieurs conditions appliquées à plus d'une variable \n",
        "\n",
        "*Sélectionner les répondants âgés de 40 à 60 ans qui aiment la lecture ou le cinema*\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bfhOqCfVQs94"
      },
      "source": [
        "bd[bd$age >= 40 & bd$age <= 60 & (bd$lecture.bd == \"Oui\" | bd$cinema == \"Oui\"), ]"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "j2X1KfZiTKJg"
      },
      "source": [
        "# Mais ATTENTION! Avec l'indexation directe, il faut s'assurer qu'il n'y a pas de NA dans les variables de conditions. \n",
        "bd.cadre <-bd[bd$qualif==\"Cadre\" & bd$age<50, c(\"id\",\"qualif\", \"age\")] "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "G_scFVLy1P2Y"
      },
      "source": [
        "# La présence de NA dans une condition fait que la ligne correspondante sera conservée par l’indexation. \n",
        "bd.cadre "
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "64dWB7FPTMbm"
      },
      "source": [
        "# Faut utiliser !is.na()\n",
        "bd.cadre2 <-bd[bd$qualif==\"Cadre\" & bd$age<50 & !is.na(bd$qualif) & !is.na(bd$age), c(\"id\",\"qualif\", \"age\")]\n",
        "\n",
        "# Il vaut mieux utiliser la fonction subset()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "q9ggCbGJjvKU"
      },
      "source": [
        "####3.4. La fonction subset()"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "oVmL5jjMjSsG"
      },
      "source": [
        "bd.cadre3 <- subset(bd, qualif==\"Cadre\" & age<50, select= c(id,qualif, age))\n",
        "\n",
        "# Indique le nom de notre base en premier - plus besoin de spécifier bd$qualif...\n",
        "# Pas besoin de guillemets autour des noms de variables\n",
        "# Argument select= pour sélectionner des variables spécifiques, sans guillemets"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PDrs1jaTtl1t"
      },
      "source": [
        "\n",
        "\n",
        "---\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "uwofrjaW-4TO"
      },
      "source": [
        "## 4. Les valeurs manquantes"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "W5jF8l9X--V0"
      },
      "source": [
        "Plusieurs fonctions sont à connaitre lorsque l'on travaille avec des données qui incluent des valeurs manquantes:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Cj5kQ78W_EGl"
      },
      "source": [
        "is.na(bd$age)\n",
        "\n",
        "# Test logique :  vrai ou faux\n",
        "# Identifier les cas qui ont une valeur manquante dans une variable sous forme de vecteur logique"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Z4QDlvVd_Hqc"
      },
      "source": [
        "which(is.na(bd), arr.ind=TRUE) # Identifier les cas qui ont une valeur manquante dans le jeu de données complet\n",
        "\n",
        "# is.na()  applique test logique\n",
        "# which()  retourne les numéros de lignes qui remplissent la condition (TRUE)\n",
        "# arr.ind= permet d'appliquer le principe sur toutes les colonnes\n",
        "# Retourne une matrice composée du numéro de l'observation et du numéro de colonne où se trouve les NA\n",
        "# Pour identifier les cas d'une variable spécifique is.na(bd$occup)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ukvA8lRbx6Fg"
      },
      "source": [
        "sum(is.na(bd$qualif)) # Compte des valeurs manquantes dans une variable"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ogPnj5NOx6Wg"
      },
      "source": [
        "sum(!is.na(bd$qualif)) # Compte des valeurs non manquantes (! sauf) dans une variable"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "4A61ydjRprEJ"
      },
      "source": [
        "bd <- na.omit(bd) # Élimiter toutes les lignes ayant au moins une valeur manquante"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "VfYv4IS2__ws"
      },
      "source": [
        "bd$age[which(is.na(bd$age))] <- mean(bd$age, na.rm=TRUE) # Imputation: remplacer NA par la moyenne"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "7WwmayeQ_N5b"
      },
      "source": [
        "bd.qualif <-bd[complete.cases(bd$qualif), ] # Créer une nouvelle base de données en éliminant tous les cas qui ont au moins une valeur manquante dans la variable qualif"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ee6r9VDklsdE"
      },
      "source": [
        "\n",
        "\n",
        "---\n",
        "\n"
      ]
    }
  ]
}