Adapte les exemples de code de cartiflette (#482)

* update cartiflette

* tuto geopandas

* maps

* install libmagic

Author: linogaliana

content/manipulation/03_geopandas_TP.qmd

@@ -93,7 +93,7 @@ vous pouvez retirer les `!` en début de ligne):
 ```{python}
 #| eval: false
 !pip install requests py7zr geopandas openpyxl tqdm s3fs PyYAML xlrd
-!pip install git+https://github.com/inseefrlab/cartiflette@80b8a5a28371feb6df31d55bcc2617948a5f9b1a
+!pip install git+https://github.com/inseefrlab/cartiflette
 ```
 
 Ces commandes permettent de récupérer l'ensemble du code 
@@ -143,13 +143,13 @@ précédent.
 #| echo: true
 #| output: false
 !pip install requests py7zr geopandas openpyxl tqdm s3fs PyYAML xlrd
-!pip install git+https://github.com/inseefrlab/cartiflette@80b8a5a28371feb6df31d55bcc2617948a5f9b1a
+!pip install git+https://github.com/inseefrlab/cartiflette
 ```
 
 ```{python}
 #| echo: true
 #| output: false
-from cartiflette.s3 import download_vectorfile_url_all
+from cartiflette.public import download_from_cartiflette
 ```
 
 
@@ -188,11 +188,11 @@ de manière simplifiée grâce au _package_
 ```{python}
 #| echo: true
 #| output: false
-communes_borders = download_vectorfile_url_all(
+communes_borders = download_from_cartiflette(
     crs = 4326,
     values = ["75", "92", "93", "94"],
     borders="COMMUNE",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="DEPARTEMENT",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)
@@ -235,11 +235,11 @@ Convertir en Lambert 93.
 #| output: false
 
 # 1. Chargement des données de Cartiflette
-communes_borders = download_vectorfile_url_all(
+communes_borders = download_from_cartiflette(
     crs = 4326,
     values = ["75", "92", "93", "94"],
     borders="COMMUNE",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="DEPARTEMENT",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)
@@ -285,11 +285,11 @@ ax.set_axis_off()
 #| output: false
 
 # 6. Chargement des données de Cartiflette
-petite_couronne = download_vectorfile_url_all(
+petite_couronne = download_from_cartiflette(
     crs = 4326,
     values = ["75", "92", "93", "94"],
     borders="COMMUNE_ARRONDISSEMENT",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="DEPARTEMENT",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)
@@ -337,14 +337,16 @@ pour récupérer les frontières françaises (découpées par région):
 ```{python}
 #| output: false
 #| echo: true
-france = download_vectorfile_url_all(
-      values = "metropole",
+france = download_from_cartiflette(
+      values = ["France"],
       crs = 4326,
       borders = "REGION",
-      vectorfile_format="topojson",
+      vectorfile_format="geojson",
+      simplification=50,
       filter_by="FRANCE_ENTIERE",
       source="EXPRESS-COG-CARTO-TERRITOIRE",
       year=2022)
+france = france.loc[france['INSEE_REG']>10]
 ```
 
 1. S'amuser à représenter les limites de la France avec plusieurs projections:
@@ -365,17 +367,6 @@ pour chaque région.
 ```
 :::
 
-```{python}
-#| output: false
-france = download_vectorfile_url_all(
-      values = "metropole",
-      crs = 4326,
-      borders = "REGION",
-      vectorfile_format="topojson",
-      filter_by="FRANCE_ENTIERE",
-      source="EXPRESS-COG-CARTO-TERRITOIRE",
-      year=2022)
-```
 
 ```{python}
 #| output: false
@@ -531,16 +522,19 @@ le fonds de carte des départements de la petite couronne:
 ```{python}
 #| echo: true
 #| output: false
-idf = download_vectorfile_url_all(
-      values = "11",
+idf = download_from_cartiflette(
+      values = ["11"],
       crs = 4326,
       borders = "DEPARTEMENT",
-      vectorfile_format="topojson",
+      vectorfile_format="geojson",
       filter_by="REGION",
       source="EXPRESS-COG-CARTO-TERRITOIRE",
       year=2022)
 
-petite_couronne_departements = idf.loc[idf['INSEE_DEP'].isin(["75","92","93","94"])].to_crs(2154)
+petite_couronne_departements = (idf
+  .loc[idf['INSEE_DEP'].isin(["75","92","93","94"])]
+  .to_crs(2154)
+)
 ```
 
 ::: {.cell .markdown}

content/manipulation/03_geopandas_tutorial.qmd

@@ -31,7 +31,7 @@ Dans ce tutoriel, nous allons utiliser les données suivantes :
 
 * [Localisations des stations velib](https://opendata.paris.fr/explore/dataset/velib-emplacement-des-stations/download/?format=geojson&timezone=Europe/Berlin&lang=fr) ;
 * [fonds de carte `AdminExpress`](https://geoservices.ign.fr/adminexpress) à
-travers un package `Python` nommé [`cartiflette`](https://github.com/InseeFrLab/cartogether)
+travers un package `Python` nommé [`cartiflette`](https://github.com/InseeFrLab/cartiflette)
 facilitant la récupération de cette source. 
 
 La représentation des données, notamment la cartographie, est présentée plus
@@ -399,7 +399,7 @@ celles de l'IGN, et leur association à des jeux de données géographiques.
 
 Le package `cartiflette` est expérimental 
 et n'est disponible que sur
-[`Github`](https://github.com/InseeFrLab/cartogether), pas sur `PyPi`.
+[`Github`](https://github.com/InseeFrLab/cartiflette), pas sur `PyPi`.
 Il est amené à évoluer rapidement et cette page sera mise à jour
 quand de nouvelles fonctionalités (notamment l'utilisation d'`API`)
 seront disponibles pour encore simplifier la récupération de
@@ -412,7 +412,7 @@ vous pouvez retirer les `!` en début de ligne):
 ```{python}
 #| eval: false
 !pip install requests py7zr geopandas openpyxl tqdm s3fs PyYAML xlrd
-!pip install git+https://github.com/inseefrlab/cartiflette@80b8a5a28371feb6df31d55bcc2617948a5f9b1a
+!pip install git+https://github.com/inseefrlab/cartiflette
 ```
 
 Ces commandes permettent de récupérer l'ensemble du code 
@@ -442,13 +442,13 @@ Les contours de cet espace peuvent être récupérés de la manière suivante :
 
 ```{python}
 #| output: false
-import cartiflette.s3 as s3
+from cartiflette.public import download_from_cartiflette
 
-shp_communes = s3.download_vectorfile_url_all(
+shp_communes = download_from_cartiflette(
     crs = 4326,
     values = ["75", "92", "93", "94"],
     borders="COMMUNE_ARRONDISSEMENT",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="DEPARTEMENT",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)
@@ -495,19 +495,18 @@ ax.set_axis_off()
 
 Si on ne désire pas utiliser le niveau `COMMUNE_ARRONDISSEMENT`,
 il est nécessaire de mettre en oeuvre une construction du fond de
-carte en plusieurs phases.
+carte en plusieurs phases. C'est une opération un petit peu pénible, source d'erreur potentielle. Elle est illustrée ci-dessous mais il est donc recommandé de privilégier le niveau
+`COMMUNE_ARRONDISSEMENT` qui a été construit pour cela. 
 
 En premier lieu, il est nécessaire de récupérer le niveau des communes. 
 
 ```{python}
 #| output: false
-import cartiflette.s3 as s3
-
-shp_communes = s3.download_vectorfile_url_all(
+shp_communes = download_from_cartiflette(
     crs = 4326,
     values = ["75", "92", "93", "94"],
     borders="COMMUNE",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="DEPARTEMENT",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)
@@ -539,11 +538,11 @@ disponibles
 grâce à `cartiflette`:
 
 ```{python}
-arrondissements = s3.download_vectorfile_url_all(
+arrondissements = download_from_cartiflette(
     crs = 4326,
     values = ["75"],
     borders="COMMUNE_ARRONDISSEMENT",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="DEPARTEMENT",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)
@@ -784,14 +783,15 @@ contours des communes:
 
 ```{python}
 #| output: false
-dep = s3.download_vectorfile_url_all(
-    values = "metropole",
+dep = download_from_cartiflette(
+    values = ["France"],
     crs = 4326,
     borders = "DEPARTEMENT",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="FRANCE_ENTIERE",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)
+dep = dep.loc[dep["INSEE_DEP"].str.len() == 2]
 
 dep["area"] = dep.to_crs(2154).area
 ```
@@ -868,11 +868,11 @@ Haute-Garonne (31), après avoir téléchargé le fonds de carte adapté,
 fera
 
 ```{python}
-communes_31 = s3.download_vectorfile_url_all(
+communes_31 = download_from_cartiflette(
+      values = ["31"],
       crs = 4326,
-      values = "31",
       borders="COMMUNE",
-      vectorfile_format="topojson",
+      vectorfile_format="geojson",
       filter_by="DEPARTEMENT",
       source="EXPRESS-COG-CARTO-TERRITOIRE",
       year=2022)
@@ -939,15 +939,15 @@ communes = communes.set_crs(2154)
 Alors que la reprojection (projection Albers : `5070`) s'obtient de la manière suivante :
 
 ```{python}
-shp_region = s3.download_vectorfile_url_all(
-    values = "metropole",
+shp_region = download_from_cartiflette(
+    values = ["France"],
     crs = 4326,
     borders = "REGION",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="FRANCE_ENTIERE",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)
-    
+shp_region = shp_region.loc[shp_region['INSEE_REG']>10]
 fig,ax = plt.subplots(figsize=(10, 10))
 shp_region.to_crs(5070).plot(ax = ax)
 ax

content/visualisation/maps.qmd

@@ -133,9 +133,35 @@ la fonctionalité `str.contains` pour exclure les
 observations contenant _"Bike IN"_ ou _"Bike OUT"_
 dans la variable 
 `nom_compteur`
-3. On va également utiliser les données d'arrondissements de la ville de Paris. Importer ces données depuis <https://opendata.paris.fr/explore/dataset/arrondissements/download/?format=geojson&timezone=Europe/Berlin&lang=fr>. Nommer cet objet `arrondissements`.
+3. On va également utiliser les contours d'arrondissements de la ville de Paris. Nommer cet objet `arrondissements`. Pour le créer, utiliser la fonction `download_from_cartiflette` du package [`cartiflette`](https://github.com/InseeFrLab/cartiflette).
 4. Utiliser la méthode `plot` pour représenter les localisations des compteurs dans l'espace. C'est, on peut l'avouer, peu informatif sans apport extérieur. Il va donc falloir travailler un peu l'esthétique
 
+<details>
+
+<summary>
+Aide pour l'utilisation de <code>cartiflette</code>
+</summary>
+
+Le code suivant donne la structure générale, il suffit d'adapter
+l'argument `values`:
+
+```python
+from cartiflette.public import download_from_cartiflette
+
+#3. Chargement de "arrondissements"
+arrondissements = download_from_cartiflette(
+  values = ["TO_BE_COMPLETED"],
+  borders = "COMMUNE_ARRONDISSEMENT",
+  filter_by = "DEPARTEMENT",
+  crs = 4326,
+  vectorfile_format="geojson",
+  source="EXPRESS-COG-CARTO-TERRITOIRE",
+  year=2022
+)
+```
+
+</details>
+
 ```{=html}
 </div>
 ```
@@ -176,8 +202,19 @@ compteurs = compteurs.loc[~compteurs["nom_compteur"].str.contains(r"(Bike IN|Bik
 #| include: false
 #| show: false
 
+from cartiflette.public import download_from_cartiflette
+
 #3. Chargement de "arrondissements"
-arrondissements = gpd.read_file("https://opendata.paris.fr/explore/dataset/arrondissements/download/?format=geojson&timezone=Europe/Berlin&lang=fr")
+arrondissements = download_from_cartiflette(
+  values = ["75"],
+  borders = "COMMUNE_ARRONDISSEMENT",
+  filter_by = "DEPARTEMENT",
+  crs = 4326,
+  vectorfile_format="geojson",
+  source="EXPRESS-COG-CARTO-TERRITOIRE",
+  year=2022
+)
+
 # arrondissements.head()
 ```
 
@@ -658,14 +695,8 @@ parisiens et communes dans les autres villes.
 
 Nous allons privilégier une carte à ronds proportionnels (_bubble map_)
 aux cartes chorolèpthes qui trompent
-l'oeil. Les instructions d'installation du package `topojson`
-sont disponibles dans la partie manipulation
+l'oeil.
 
-```{python}
-#| echo: false
-#| output: false
-!pip install topojson
-```
 
 ::: {.cell .markdown}
 ```{=html}
@@ -674,8 +705,8 @@ sont disponibles dans la partie manipulation
 ```
 
 1. Récupérer le fond de carte des départements 75, 92, 93 et 94
-avec `cartiflette`. Pour cela, utiliser `download_vectorfile_url_all`
-depuis `cartiflette.s3` en fixant l'option `level` à `COMMUNE_ARRONDISSEMENT`.
+avec `cartiflette`. Pour cela, utiliser `download_from_cartiflette`
+depuis `cartiflette.public` en fixant l'option `borders` à `COMMUNE_ARRONDISSEMENT`.
 Nommer cet objet `df`.
 2. Afin que les calculs ultérieurs de surface ne soient pas faussés,
 assurez-vous que les données sont en Lambert 93 en reprojetant
@@ -702,14 +733,14 @@ Vous pouvez utiliser la variable créée à la question 5 pour les couleurs.
 #| output: false
 import pandas as pd
 import matplotlib.pyplot as plt
-import cartiflette.s3 as s3
+from cartiflette.public import download_from_cartiflette
 
 # 1/ Fonds communaux
-df = s3.download_vectorfile_url_all(
-    crs = 4326,
+df = download_from_cartiflette(
     values = ["75", "92", "93", "94"],
+    crs = 4326,
     borders="COMMUNE_ARRONDISSEMENT",
-    vectorfile_format="topojson",
+    vectorfile_format="geojson",
     filter_by="DEPARTEMENT",
     source="EXPRESS-COG-CARTO-TERRITOIRE",
     year=2022)

docker/Dockerfile

@@ -6,6 +6,7 @@ RUN apt-get -y update && \
     apt-get -y install wget && \
     apt-get install -y git && \
     apt-get install build-essential -y && \
+    apt-get install libmagic-dev -y && \
     rm -rf /var/lib/apt/lists/*
 
 RUN apt-get -y update && \

requirements.txt

@@ -1,7 +1,7 @@
 pynsee
 xlrd
 contextily
-cartiflette @ git+https://github.com/inseefrlab/cartiflette@80b8a5a28371feb6df31d55bcc2617948a5f9b1a
+cartiflette @ git+https://github.com/inseefrlab/cartiflette
 graphviz
 plotnine
 geoplot