BaOIA_alignement_lieux.ipynb

{
    "nbformat": 4,
    "nbformat_minor": 0,
    "metadata": {
        "colab": {
            "name": "BaOIA_alignement_lieux.ipynb",
            "provenance": [],
            "collapsed_sections": []
        },
        "kernelspec": {
            "display_name": "Python 3",
            "language": "python",
            "name": "python3"
        },
        "language_info": {
            "codemirror_mode": {
                "name": "ipython",
                "version": 3
            },
            "file_extension": ".py",
            "mimetype": "text/x-python",
            "name": "python",
            "nbconvert_exporter": "python",
            "pygments_lexer": "ipython3",
            "version": "3.8.8"
        }
    },
    "cells": [
        {
            "cell_type": "markdown",
            "metadata": {
                "id": "4Nv-dRNOM4l1"
            },
            "source": [
                "# Outil d'alignement de données géolocalisées et de récupération d'informations\n",
                "\n",
                "*Documents d'entrée* : fichiers au format .txt contenant une liste d'entités nommées de lieux.\n",
                "\n",
                "*Documents de sortie* : un fichier Excel contenant la liste des lieux reconnus avec les ajouts issus de Wikidata + un fichier JSON contenant les mêmes informations (utilisé ensuite pour réaliser les cartographies).\n"
            ]
        },
        {
            "cell_type": "code",
            "metadata": {
                "id": "XiKhnyZ0C5Cl",
                "cellView": "form"
            },
            "source": [
                "#@markdown # Connecter le notebook à son compte Google Drive\n",
                "\n",
                "#@markdown - Lancer la cellule\n",
                "#@markdown - Cliquer sur « Exécuter malgré tout » lors de l’apparition du message d’avertissement indiquant que le notebook n’a pas été créé par Google\n",
                "#@markdown - Cliquer sur « Se connecter à Google Drive » lors de l’apparition du second message d’avertissement pour donner l’autorisation au notebook d’accéder à vos fichiers Google Drive\n",
                "#@markdown - Choisir son compte Gmail puis cliquer sur « Autoriser »\n",
                "\n",
                "from google.colab import drive\n",
                "!pip install wptools==0.4.17\n",
                "import wptools\n",
                "import glob\n",
                "from collections import Counter\n",
                "import re\n",
                "import os\n",
                "import json\n",
                "import urllib.parse, urllib.request\n",
                "import pandas as pd\n",
                "\n",
                "\n",
                "drive.mount('/content/drive/')\n",
                "%cd /content/drive/My Drive/"
            ],
            "execution_count": null,
            "outputs": []
        },
        {
            "cell_type": "code",
            "metadata": {
                "id": "ryATw75bEFFM",
                "scrolled": false,
                "cellView": "form"
            },
            "source": [
                "#@markdown # Alignement des données :\n",
                "\n",
                "#@markdown ####Indiquer le chemin absolu vers le dossier de travail sur le Google Drive :\n",
                "chemin_vers_le_dossier_de_travail = '/content/drive/My Drive/tutoriel_extraction_cartographie-main/'#@param {type:\"string\"}\n",
                "os.chdir(chemin_vers_le_dossier_de_travail)\n",
                "\n",
                "#@markdown ####Indiquer le chemin absolu vers le dossier contenant les entités nommées de lieux :\n",
                "chemin_vers_les_listes_de_lieux = '/content/drive/MyDrive/tutoriel_extraction_cartographie-main/entites lieux guides/'#@param {type:\"string\"}\n",
                "\n",
                "#@markdown ####Indiquer la langue pour procéder à l'alignement :\n",
                "langue_pour_l_alignement = \"Francais\" #@param [\"Anglais\", \"Italien\", \"Francais\", \"Allemand\", \"Espagnol\"]\n",
                "\n",
                "#@markdown ####Indiquer le nom du fichier JSON créé :\n",
                "nom_fichier_donnees_lieux = 'donnees lieux corpus guides.json'#@param {type:\"string\"}\n",
                "\n",
                "#@markdown ####Indiquer le nom du fichier Excel créé :\n",
                "nom_fichier_excel_donnes_lieux = 'donnees lieux corpus guides tab.xlsx'#@param {type:\"string\"}\n",
                "\n",
                "if langue_pour_l_alignement == \"Espagnol\":\n",
                "  langue_pour_l_alignement = \"es\"\n",
                "if langue_pour_l_alignement == \"Francais\":\n",
                "  langue_pour_l_alignement = \"fr\"\n",
                "if langue_pour_l_alignement == \"Anglais\":\n",
                "  langue_pour_l_alignement = \"en\"\n",
                "if langue_pour_l_alignement == \"Allemand\":\n",
                "  langue_pour_l_alignement = \"de\"\n",
                "if langue_pour_l_alignement == \"Italien\":\n",
                "  langue_pour_l_alignement = \"it\"\n",
                "\n",
                "import pycurl\n",
                "def CallWikifier(text, lang=langue_pour_l_alignement, threshold=0.9): \n",
                "    nom, type_lieu, latitude, longitude, description = ([] for i in range(5))\n",
                "  # Thresold = taux de sureté. 0.8 = sûr que le résultat est exact; mais peu de résultat.\n",
                "  # 1 = tous les résultats mais certains faux résultats\n",
                "    # Url de demande:\n",
                "    data = urllib.parse.urlencode([\n",
                "        (\"text\", text), (\"lang\", lang),\n",
                "        (\"userKey\", \"nqvsutgqswvfmrcvyxjtopvpiukjtp\"),\n",
                "        (\"pageRankSqThreshold\", \"%g\" % threshold), (\"applyPageRankSqThreshold\", \"true\"),\n",
                "        (\"nTopDfValuesToIgnore\", \"200\"), (\"nWordsToIgnoreFromList\", \"200\"),\n",
                "        (\"wikiDataClasses\", \"true\"), (\"wikiDataClassIds\", \"false\"),\n",
                "        (\"support\", \"true\"), (\"ranges\", \"false\"), (\"minLinkFrequency\", \"4\"),\n",
                "        (\"includeCosines\", \"false\"), (\"maxMentionEntropy\", \"3\")\n",
                "        ])\n",
                "    url = \"http://www.wikifier.org/annotate-article\"\n",
                "    # Appel de Wikifier \n",
                "    req = urllib.request.Request(url, data=data.encode(\"utf8\"), method=\"POST\")\n",
                "    with urllib.request.urlopen(req, timeout = 100) as f:\n",
                "        response = f.read()\n",
                "        response = json.loads(response.decode(\"utf8\"))\n",
                "        print(response)\n",
                "        for annotation in response[\"annotations\"]:\n",
                "          ## Récupération (uniquement de l'ID wikidata):\n",
                "          try:\n",
                "            itemid = annotation[\"wikiDataItemId\"] \n",
                "            page = wptools.page(wikibase=itemid, lang=langue_pour_l_alignement)\n",
                "            page.get_wikidata()\n",
                "            page.get_parse()\n",
                "                      ## Pour avoir toutes les informations:\n",
                "\n",
                "            infobox=page.data['infobox']\n",
                "            nom = infobox.get(\"nom\")\n",
                "            type_lieu=infobox.get(\"type\")\n",
                "            if type_lieu is None: \n",
                "                  type_lieu=page.data['what']\n",
                "            latitude = infobox.get(\"latitude\")\n",
                "            longitude = infobox.get(\"longitude\")\n",
                "            description = page.data[\"description\"]\n",
                "          except (AttributeError, pycurl.error, KeyError) as at:\n",
                "                print(\"Ce n'est pas un lieu!\")\n",
                "            # Création d'un dictionnaire + fichier json avec les informations récupérées sur les lieux:\n",
                "          donnees[str(nom)] = {\"Type de lieu\" : type_lieu,\n",
                "                              \"Latitude\" : str(latitude), \"Longitude\" : str(longitude), \"Description\": str(description)}    \n",
                "        \n",
                "\n",
                "\n",
                "            # Enregistrement de toutes les informations récupérées sous la forme d'un tableau Excel:\n",
                "    df = pd.DataFrame(donnees)\n",
                "    df2 = df.transpose()\n",
                "    df2.to_excel(nom_fichier_excel_donnes_lieux)\n",
                "    with open(nom_fichier_donnees_lieux, \"w\") as fichier : \n",
                "        json.dump(donnees, fichier, ensure_ascii=False)\n",
                "\n",
                "donnees ={}\n",
                "toutes_listes = ''.join(chemin_vers_les_listes_de_lieux+\"/*.txt\")\n",
                "print(toutes_listes)\n",
                "for recos in glob.glob(toutes_listes):\n",
                "    with open(recos, \"r\") as myfile:\n",
                "      liste=myfile.readlines()\n",
                "      for lieu in liste:\n",
                "        print(lieu)\n",
                "        CallWikifier(text=lieu, lang=langue_pour_l_alignement)\n"
            ],
            "execution_count": null,
            "outputs": []
        },
        {
            "cell_type": "code",
            "metadata": {
                "cellView": "form",
                "id": "QDHFCkbEfWiD"
            },
            "source": [
                "#@markdown # Calculs statistiques des types de lieux\n",
                "\n",
                "#@markdown Le résultat s'affiche en dessous de la cellule (aucun fichier est créé par l'exécution de cette cellule).\n",
                "\n",
                "liste_des_types = []\n",
                "fichier_json = nom_fichier_donnees_lieux\n",
                "with open(fichier_json, \"r\") as f :\n",
                "  contenu_json = json.load(f)\n",
                "  pairs = contenu_json.items()\n",
                "  for key, value in pairs:\n",
                "      test_types=value[\"Type de lieu\"]\n",
                "      liste_des_types.append(test_types)\n",
                "for ele in liste_des_types:\n",
                "  if type(ele) == list:\n",
                "    liste_des_types.remove(ele)\n",
                "\n",
                "def proportion_types(liste):\n",
                "  c = Counter(item for item in liste)\n",
                "  print(\"Voici le nombre de lieux, triés par chaque type :\")\n",
                "  print(c) ## Affiche le nombre de lieux de chaque type\n",
                "  prop = [(i, c[i] / len(liste) * 100.0) for i in c]\n",
                "  print(\"Voici la proportion de chaque type de lieux :\")\n",
                "  print(prop) ## Affiche la proportion de chaque type de lieux\n",
                "  \n",
                "proportion_types(liste_des_types)\n"
            ],
            "execution_count": null,
            "outputs": []
        }
    ]
}