Relecture Thomas, première partie (#438)

* relecture tutorial

* correct typo

* re read webscrapping

* Update 03_geopandas_tutorial.qmd

Author: ThomasFaria

content/manipulation/03_geopandas_TP.qmd

@@ -84,7 +84,7 @@ une version très proche de ce TP est disponible dans [ce cours de `R`](https://
 Avant de se lancer dans le TD, il est nécessaire d'installer quelques
 librairies qui ne sont pas disponibles par défaut, dans l'environnement `Python`
 de base de la _data science_. Pour installer celles-ci depuis une 
-cellule de _notebook_ `Jupyter`, le code suivant est à exécuter:
+cellule de _notebook_ `Jupyter`, le code suivant est à exécuter :
 
 ```{python}
 #| echo: true
@@ -98,15 +98,9 @@ cellule de _notebook_ `Jupyter`, le code suivant est à exécuter:
 !pip install topojson
 ```
 
-```{python}
-#| echo: false
-#| include: false
-!pip install topojson
-```
-
 Après installations,
 les _packages_ à importer pour progresser
-dans ce chapitre sont les suivants:
+dans ce chapitre sont les suivants :
 
 ```{python}
 #| echo: true
@@ -747,7 +741,7 @@ Si on représente plutôt la capacité sous forme de densité, pour tenir compte
 petite_couronne_count['area'] = petite_couronne_count.area
 
 petite_couronne_count['density'] = petite_couronne_count['area'].div(1e6)
-petite_couronne_count['density'] = petite_couronne_count['capacity']*petite_couronne_count['density']
+petite_couronne_count['density'] = petite_couronne_count['capacity']/petite_couronne_count['density']
 
 aplat = petite_couronne_count.plot(
     column = "density", cmap="coolwarm", legend=True)

content/manipulation/03_geopandas_tutorial.qmd

@@ -60,19 +60,14 @@ Il peut servir de pendant à celui-ci pour l'utilisateur de `R`.
 
 Quelques installations préalables sont nécessaires : 
 
-```python
-#| output: false
+```{python}
+#| message : false 
 !pip install pandas fiona shapely pyproj rtree # à faire obligatoirement en premier pour utiliser rtree ou pygeos pour les jointures spatiales
 !pip install contextily
 !pip install geopandas
 !pip install topojson
 ```
 
-```{python}
-#| echo: false
-!pip install topojson
-```
-
 Pour être en mesure d'exécuter ce tutoriel, les imports suivants
 seront utiles.
 
@@ -92,19 +87,19 @@ import matplotlib.pyplot as plt
 
 **Le terme "données spatiales" désigne les données qui portent sur les caractéristiques géographiques des objets (localisation, contours, liens)**.
 Les caractéristiques géographiques des objets sont décrites à l'aide d'un **système de coordonnées**
-qui permettent une représentation dans un espace euclidien ($(x,y)$).
+qui permettent une représentation dans un espace euclidien $(x,y)$.
 Le passage de l'espace réel (la Terre, qui est une sphère) à l'espace plan
 se fait grâce à un **système de projection**. Voici quelques exemples
 de données spatiales : 
 
-* Une table décrivant des bâtiments, avec les coordonnées géographiques de chaque bâtiment;
-* Le découpage communal du territoire, avec le contour du territoire de chaque commune;
+* Une table décrivant des bâtiments, avec les coordonnées géographiques de chaque bâtiment ;
+* Le découpage communal du territoire, avec le contour du territoire de chaque commune ;
 * Les routes terrestres, avec les coordonnées décrivant leur parcours en 3 dimensions (longitude, latitude, altitude).
 
 Les données spatiales rassemblent classiquement deux types de données :
 
-1. des **données géographiques** (ou géométries): objets géométriques tels que des points, des vecteurs, des polygones, ou des maillages (*raster*). Exemple: la forme de chaque chaque commune, les coordonnées d'un bâtiment;
-2. des **données attributaires** (ou attributs): des mesures et des caractéristiques associés aux objets géométriques. Exemple: la population de chaque commune, le nombre de fenêtres et le nombre d'étages d'un bâtiment.
+1. des **données géographiques** (ou géométries) : objets géométriques tels que des points, des vecteurs, des polygones, ou des maillages (*raster*). Exemple: la forme de chaque commune, les coordonnées d'un bâtiment;
+2. des **données attributaires** (ou attributs) : des mesures et des caractéristiques associées aux objets géométriques. Exemple: la population de chaque commune, le nombre de fenêtres et le nombre d'étages d'un bâtiment.
 
 **Les données spatiales sont fréquemment traitées à l'aide d'un système d'information géographique (SIG)**, c'est-à-dire un système d'information capable de stocker, d'organiser et de présenter des données alphanumériques spatialement référencées par des coordonnées dans un système de référence (CRS). `Python` dispose de fonctionnalités lui permettant de réaliser les mêmes tâches qu'un SIG (traitement de données spatiales, représentations cartographiques).
 
@@ -119,11 +114,11 @@ DataFrame `Pandas` mais propose des méthodes adaptées au traitement des donné
 
 Ainsi, grâce à  `Geopandas`, on pourra effectuer des manipulations sur les attributs des données comme avec `pandas` mais on pourra également faire des manipulations sur la dimension spatiale des données. En particulier,
 
-* Calculer des distances et des surfaces;
-* Agréger rapidement des zonages (regrouper les communes en département par exemple);
-* Trouver dans quelle commune se trouve un bâtiment à partir de ses coordonnées géographiques;
-* Recalculer des coordonnées dans un autre système de projection.
-* Faire une carte, rapidement et simplement
+* Calculer des distances et des surfaces ;
+* Agréger rapidement des zonages (regrouper les communes en département par exemple) ;
+* Trouver dans quelle commune se trouve un bâtiment à partir de ses coordonnées géographiques ;
+* Recalculer des coordonnées dans un autre système de projection ;
+* Faire une carte, rapidement et simplement.
 
 ::: {.cell .markdown}
 ```{=html}
@@ -147,7 +142,7 @@ d'automatiser le traitement et la représentation des données. D'ailleurs,
 
 ### Résumé
 
-En résumé, un objet `GeoPandas` comporte les éléments suivantes:
+En résumé, un objet `GeoPandas` comporte les éléments suivantes :
 
 ![](https://rgeo.linogaliana.fr/slides/img/sf.png)
 
@@ -199,11 +194,11 @@ Un mauvais système de représentation
 fausse l'appréciation visuelle mais peut aussi entraîner des erreurs dans
 les calculs sur la dimension spatiale.
 
-**Les systèmes de projection font l'objet de standards internationaux et sont souvent désignés par des codes dits codes EPSG**. Ce [site](https://epsg.io/) est un bon aide-mémoire. Les plus fréquents, pour les utilisateurs français, sont les suivants (plus d'infos [ici](https://geodesie.ign.fr/contenu/fichiers/documentation/SRCfrance.pdf)):
+**Les systèmes de projection font l'objet de standards internationaux et sont souvent désignés par des codes dits codes EPSG**. Ce [site](https://epsg.io/) est un bon aide-mémoire. Les plus fréquents, pour les utilisateurs français, sont les suivants (plus d'infos [ici](https://geodesie.ign.fr/contenu/fichiers/documentation/SRCfrance.pdf)) :
 
-* `2154`: système de projection Lambert 93. Il s'agit du système de projection officiel. La plupart des données diffusées par l'administration pour la métropole sont disponibles dans ce système de projection. 
-* `27572`: Lambert II étendu. Il s'agit de l'ancien système de projection officiel. Les données spatiales anciennes peuvent être dans ce format.
-* `4326`: WGS 84 ou système de pseudo-Mercator ou encore _Web Mercator_. Ce n'est en réalité pas un système de projection mais un système de coordonnées (longitude / latitude) qui permet simplement un repérage angulaire sur l'ellipsoïde. Il est utilisé pour les données GPS. Il s'agit du système le plus
+* `2154` : système de projection Lambert 93. Il s'agit du système de projection officiel. La plupart des données diffusées par l'administration pour la métropole sont disponibles dans ce système de projection. 
+* `27572` : Lambert II étendu. Il s'agit de l'ancien système de projection officiel. Les données spatiales anciennes peuvent être dans ce format.
+* `4326` : WGS 84 ou système de pseudo-Mercator ou encore _Web Mercator_. Ce n'est en réalité pas un système de projection mais un système de coordonnées (longitude / latitude) qui permet simplement un repérage angulaire sur l'ellipsoïde. Il est utilisé pour les données GPS. Il s'agit du système le plus
 usuel, notamment quand on travaille avec des fonds de carte _web_.
 
 
@@ -374,23 +369,23 @@ Dans le système Lambert 93 (2154) :
 
 Les formats les plus communs de données spatiales sont les suivants :
 
-* _shapefile_ (`.shp`): format (**propriétaire**) le plus commun de données géographiques.
+* _shapefile_ (`.shp`) : format (**propriétaire**) le plus commun de données géographiques.
 La table de données (attributs) est stockée dans un fichier séparé des
 données spatiales. En faisant `geopandas.read_file("monfichier.shp")`, le
-package fait lui-même le lien entre les observations et leur représentation spatiale ;
+package fait lui-même le lien entre les observations et leur représentation spatiale.
 * _geopackage_ (`.gpkg`) : ce (relativement) nouveau format **libre** en un seul fichier également (lui recommandé par l'OGC) vise progressivement à se substituer au shapefile. Il est par exemple le format par défaut dans QGIS. 
 * _geojson_ (`.json`) : ce format, non préconisé par l'OGC, est largement utilisé pour le développement _web_
 comme dans la librairie `leaflet.js`.
 La dimension spatiale est stockée dans le même fichier que les attributs.
 Ces fichiers sont généralement beaucoup plus légers que les *shapefiles* mais possèdent des limites s'agissant de gros jeux de données. 
-* _topojson_ (`.json`): une variante du `geojson` qui se développe progressivement pour assister les visualisations _web_. Au lieu de stocker l'ensemble des points permettant de représenter une 
+* _topojson_ (`.json`) : une variante du `geojson` qui se développe progressivement pour assister les visualisations _web_. Au lieu de stocker l'ensemble des points permettant de représenter une 
 géométrie, seuls les arcs sont conservés. Cela allège substantiellement le poids du fichier et
 permet, avec une librairie adaptée, de reconstruire l'ensemble des contours géographiques.
 
 Cette [page](https://si.ecrins-parcnational.com/blog/2020-02-geojson-shapefile-geopackage.html) compare plus en détail les principes formats de données géographiques. 
 L'aide de [`Geopandas`](https://geopandas.org/io.html) propose des bouts de code en fonction des différentes situations dans lesquelles on se trouve.
 
-### Exemple: récupérer les découpages territoriaux
+### Exemple : récupérer les découpages territoriaux
 
 L'un des fonds de carte les plus fréquents qu'on utilise est celui des
 limites administratives des communes.
@@ -627,7 +622,7 @@ stations.crs
 
 Les données sont dans le système de projection WGS84 qui est celui du
 système GPS. Celui-ci s'intègre bien avec les fonds de carte 
-`Stamen`, `OpenStreetMap` ou `Google Maps`. En toute rigueur, si on
+`OpenStreetMap` ou `Google Maps`. En toute rigueur, si on
 désire effectuer certains calculs géométriques (mesurer des surfaces...), il est
 nécessaire de re-projeter les données dans un système qui préserve la géométrie
 (c'est le cas du Lambert 93). 
@@ -647,7 +642,7 @@ fig,ax = plt.subplots(figsize=(10, 10))
 stations.sample(200).to_crs(3857).plot(ax = ax, color = 'red', alpha = 0.4, zorder=2)
 shp_communes.to_crs(3857).plot(ax = ax, zorder=1, edgecolor = "black", facecolor="none",
                                                            color = None)
-#ctx.add_basemap(ax, source = ctx.providers.Stamen.Watercolor)
+ctx.add_basemap(ax, source = ctx.providers.OpenStreetMap.Mapnik)
 ax.set_axis_off()
 ```
 
@@ -701,7 +696,7 @@ fig,ax = plt.subplots(figsize=(10, 10))
 stations.sample(200).to_crs(3857).plot(ax = ax, color = 'red', alpha = 0.4, zorder=2)
 shp_communes.to_crs(3857).plot(ax = ax, zorder=1, edgecolor = "black", facecolor="none",
                                                            color = None)
-#ctx.add_basemap(ax, source = ctx.providers.Stamen.Watercolor)
+ctx.add_basemap(ax, source = ctx.providers.OpenStreetMap.Mapnik)
 ```
 
 ```{python}
@@ -722,7 +717,7 @@ fig,ax = plt.subplots(figsize=(10, 10))
 stations.sample(200).to_crs(3857).plot(ax = ax, color = 'red', alpha = 0.4, zorder=2)
 shp_communes.to_crs(3857).plot(ax = ax, zorder=1, edgecolor = "black", facecolor="none",
                                                            color = None)
-#ctx.add_basemap(ax, source = ctx.providers.Stamen.Watercolor)
+ctx.add_basemap(ax, source = ctx.providers.OpenStreetMap.Mapnik)
 ax.set_axis_off()
 ax
 ```
@@ -926,7 +921,7 @@ stations = stations.to_crs(2154)
 Concernant la gestion des projections avec `GeoPandas`,
 la [documentation officielle](https://geopandas.org/projections.html) est très bien
 faite. Elle fournit notamment l'avertissement suivant qu'il est
-bon d'avoir en tête:
+bon d'avoir en tête :
 
 > Be aware that most of the time you don’t have to set a projection. Data loaded from a reputable source (using the geopandas.read_file() command) should always include projection information. You can see an objects current CRS through the GeoSeries.crs attribute.
 > 
@@ -935,20 +930,20 @@ bon d'avoir en tête:
 ![*Image empruntée à XKCD <https://xkcd.com/2256/> qu'on peut également trouver sur <https://blog.chrislansdown.com/2020/01/17/a-great-map-projection-joke/>*](https://imgs.xkcd.com/comics/bad_map_projection_south_america.png)
 
 
-Pour déterminer le système de projection d'une base de données, on peut vérifier l'attribut `crs`:
+Pour déterminer le système de projection d'une base de données, on peut vérifier l'attribut `crs` :
 
 ```{python}
 communes.crs
 ```
 
 Les deux principales méthodes pour définir le système de projection utilisé sont :
 
-* **`df.set_crs`**: cette commande sert à préciser quel est le système de projection utilisé, c'est-à-dire comment les coordonnées *(x,y)* sont reliées à la surface terrestre. **Cette commande ne doit pas être utilisée pour transformer le système de coordonnées, seulement pour le définir**. 
-* **`df.to_crs`**: **cette commande sert à projeter les points d'une géométrie dans une autre, c'est-à-dire à recalculer les coordonnées selon un autre système de projection.** 
+* **`df.set_crs`** : cette commande sert à préciser quel est le système de projection utilisé, c'est-à-dire comment les coordonnées *(x,y)* sont reliées à la surface terrestre. **Cette commande ne doit pas être utilisée pour transformer le système de coordonnées, seulement pour le définir**. 
+* **`df.to_crs`** : **cette commande sert à projeter les points d'une géométrie dans une autre, c'est-à-dire à recalculer les coordonnées selon un autre système de projection.** 
 
 Dans le cas particulier de production de carte avec un fond `OpenStreetMaps` ou une carte dynamique `leaflet`, il est nécessaire de dé-projeter les données (par exemple à partir du Lambert-93) pour atterrir dans le système non-projeté WGS 84 (code EPSG 4326). Ce site [dédié aux projections géographiques](https://epsg.io/) peut-être utile pour retrouver le système de projection d'un fichier où il n'est pas indiqué. 
 
-La définition du système de projection se fait de la manière suivante (:warning: avant de le faire, se souvenir de l'avertissement !):
+La définition du système de projection se fait de la manière suivante (:warning: avant de le faire, se souvenir de l'avertissement !) :
 
 ~~~python
 communes = communes.set_crs(2154)

content/manipulation/04a_webscraping_TP.qmd

@@ -128,8 +128,8 @@ où le _web scraping_ est plus proche du comportement dans le _Far West_.
 ### Les bonnes pratiques
 
 La possibilité de récupérer des données par l'intermédiaire
-d'un robot ne signifie pas qu'on peut se permettre de n'être
-pas civilisé. En effet, lorsqu'il est non-maîtrisé, le 
+d'un robot ne signifie pas qu'on peut se permettre de ne pas être
+civilisé. En effet, lorsqu'il est non-maîtrisé, le 
 _webscraping_ peut ressembler à une attaque informatique
 classique pour faire sauter un site _web_ : le déni de service. 
 Le cours d'[Antoine Palazzolo](https://inseefrlab.github.io/formation-webscraping/) revient
@@ -319,7 +319,7 @@ Pour être en mesure d'utiliser `Selenium`, il est nécessaire
 de faire communiquer `Python` avec un navigateur _web_ (Firefox ou Chromium).
 Le _package_ `webdriver-manager` permet de faire savoir à `Python` où
 se trouve ce navigateur s'il est déjà installé dans un chemin standard.
-Pour l'installer, le code de la cellule ci-dessous peut être utilisé
+Pour l'installer, le code de la cellule ci-dessous peut être utilisé.
 
 ```{=html}
 </div>
@@ -338,7 +338,7 @@ nommé `webdriver-manager`:
 On va commencer doucement. Prenons une page _wikipedia_,
 par exemple celle de la Ligue 1 de football, millésime 2019-2020 : [Championnat de France de football 2019-2020](https://fr.wikipedia.org/wiki/Championnat_de_France_de_football_2019-2020). On va souhaiter récupérer la liste des équipes, ainsi que les url des pages Wikipedia de ces équipes.
 
-Etape :one: : se connecter à la page wikipedia et obtenir le code source.
+Etape 1️⃣ : se connecter à la page wikipedia et obtenir le code source.
 Pour cela, le plus simple est d'utiliser le package `urllib` ou, mieux, `requests`.
 Nous allons ici utiliser la fonction `request` du _package_ `urllib`:
 
@@ -353,7 +353,7 @@ request_text = request.urlopen(url_ligue_1).read()
 type(request_text)
 ```
 
-Etape :two: : utiliser le package BeautifulSoup
+Etape 2️⃣ : utiliser le package BeautifulSoup
 qui permet de rechercher efficacement
 les balises contenues dans la chaine de caractères
 renvoyée par la fonction `request`:
@@ -379,7 +379,7 @@ La methode `.find` ne renvoie que la première occurence de l'élément.
 
 Pour vous en assurer vous pouvez :
 
-- copier le bout de code source obtenu, 
+- copier le bout de code source obtenu lorsque vous chercher une `table`, 
 - le coller  dans une cellule de votre notebook
 - et passer la cellule en _"Markdown"_
 
@@ -434,7 +434,7 @@ Pour cela, nous allons procéder en 6 étapes:
 ```
 :::
 
-1️ Trouver le tableau
+1️⃣ Trouver le tableau
 
 ```{python}
 # on identifie le tableau en question : c'est le premier qui a cette classe "wikitable sortable"
@@ -448,7 +448,7 @@ print(tableau_participants)
 ```
 :::
 
-2️ Récupérer chaque ligne du tableau.
+2️⃣ Récupérer chaque ligne du tableau
 
 On recherche d'abord toutes les lignes du tableau avec la balise `tr`
 
@@ -474,7 +474,7 @@ print(rows[1])
 
 
 
-3️ Nettoyer les sorties en ne gardant que le texte sur une ligne
+3️⃣ Nettoyer les sorties en ne gardant que le texte sur une ligne
 
 
 On va utiliser l'attribut `text` afin de se débarasser de toute la couche de HTML qu'on obtient à l'étape 2.
@@ -496,7 +496,7 @@ for ele in cols :
     print(ele.text.strip())
 ```
 
-4️ Généraliser sur toutes les lignes :
+4️⃣ Généraliser sur toutes les lignes :
 
 ```{python}
 for row in rows:
@@ -530,7 +530,7 @@ data_participants.head()
 ```
 
 
-5️ Récupérer les en-têtes du tableau:
+5️⃣ Récupérer les en-têtes du tableau:
 
 ```{python}
 for row in rows:
@@ -557,7 +557,7 @@ columns_participants = [re.sub('\[ (\d+) \] ?', '', nom_col) for nom_col in colu
 columns_participants
 ```
 
-6️ Finalisation du tableau 
+6️⃣ Finalisation du tableau 
 
 ```{python}
 data_participants.columns = columns_participants[1:]
@@ -585,12 +585,6 @@ stade=[]
 latitude_stade=[]        
 longitude_stade=[]     
 
-def dms2dd(degrees, minutes, seconds, direction):
-    dd = float(degrees) + float(minutes)/60 + float(seconds)/(60*60);
-    if direction == 'S' or direction == 'O':
-        dd *= -1
-    return dd;
-
 url_list=["http://fr.wikipedia.org/wiki/Championnat_de_France_de_football_2019-2020", "http://fr.wikipedia.org/wiki/Championnat_de_France_de_football_de_Ligue_2_2019-2020"]
 
 for url_ligue in url_list :