Skip to content

Commit 14790b0

Browse files
committed
fix error api komoul
1 parent 8f8e656 commit 14790b0

File tree

1 file changed

+7
-6
lines changed

1 file changed

+7
-6
lines changed

content/manipulation/05_parquet_s3.qmd

Lines changed: 7 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -638,15 +638,16 @@ Pour cela, il faut simplement s'accorder au sein du groupe pour utiliser le buck
638638

639639
Maintenant que nous savons où mettre nos données sur `MinIO`, regardons comment le faire en pratique depuis `Python`.
640640

641-
#### Cas d'un Dataframe
641+
#### Cas d'un Dataframe {-}
642642

643-
Reprenons un exemple issu du cours sur les [API](/content/manipulation/04c_API_TP.qmd#illustration-avec-une-api-de-lademe-pour-obtenir-des-diagnostics-énergétiques) pour simuler une étape de récupération de données coûteuse en temps.
643+
Reprenons un exemple issu du cours sur les [API](/content/manipulation/04c_API_TP.qmd#illustration-avec-une-api-de-lademe-pour-obtenir-des-diagnostics-énergétiques pour simuler une étape de récupération de données coûteuse en temps.
644644

645645
```{python}
646+
#| eval: true
646647
import requests
647648
import pandas as pd
648649
649-
api_query <- "https://koumoul.com/data-fair/api/v1/datasets/dpe-france/lines?format=json&q_mode=simple&qs=code_insee_commune_actualise%3A%2201450%22&size=100&select=%2A&sampling=neighbors"
650+
api_query = "https://koumoul.com/data-fair/api/v1/datasets/dpe-france/lines?format=json&q_mode=simple&qs=code_insee_commune_actualise%3A%2201450%22&size=100&select=%2A&sampling=neighbors"
650651
response_json = requests.get(url_api).json()
651652
df_dpe = pd.json_normalize(response_json["results"])
652653
@@ -683,7 +684,7 @@ with fs.open(FILE_PATH_OUT_S3, 'wb') as file_out:
683684
df_dpe.to_parquet(file_out)
684685
```
685686

686-
#### Cas de fichiers
687+
#### Cas de fichiers {-}
687688

688689
Dans la partie précédente, on était dans le cas "simple" d'un dataframe, ce qui nous permettait d'utiliser directement les fonctions d'export de `Pandas`. Maintenant, imaginons qu'on ait plusieurs fichiers d'entrée, pouvant chacun avoir des formats différents. Un cas typique de tels fichiers sont les fichiers `ShapeFile`, qui sont des fichiers de données géographiques, et se présentent sous forme d'une combinaison de fichiers (cf. [chapitre sur GeoPandas](/content/manipulation/03_geopandas_intro.qmd#le-format-shapefile-.shp-et-le-geopackage-.gpkg)). Commençons par récupérer un fichier `.shp` pour voir sa structure.
689690

@@ -725,7 +726,7 @@ Si tout a bien fonctionné, la commande ci-dessus devrait renvoyer une liste con
725726

726727
En sens inverse, pour récupérer les fichiers depuis `MinIO` dans une session `Python`, les commandes sont symétriques.
727728

728-
#### Cas d'un dataframe
729+
#### Cas d'un dataframe {-}
729730

730731
Attention à bien passer cette fois le paramètre `r` (`read`, pour lecture) et non plus `w` (`write`, pour écriture) à la fonction `fs.open` afin de ne pas écraser le fichier !
731732

@@ -757,7 +758,7 @@ with fs.open(FILE_PATH_S3, 'rb') as file_in:
757758
df_dpe.head(2)
758759
```
759760

760-
#### Cas de fichiers
761+
#### Cas de fichiers {-}
761762

762763
Dans le cas de fichiers, on va devoir dans un premier temps rapatrier les fichiers de `MinIO` vers la machine local (en l'occurence, le service ouvert sur le SSP Cloud).
763764

0 commit comments

Comments
 (0)