You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Copy file name to clipboardExpand all lines: content/manipulation/05_parquet_s3.qmd
+7-6Lines changed: 7 additions & 6 deletions
Original file line number
Diff line number
Diff line change
@@ -638,15 +638,16 @@ Pour cela, il faut simplement s'accorder au sein du groupe pour utiliser le buck
638
638
639
639
Maintenant que nous savons où mettre nos données sur `MinIO`, regardons comment le faire en pratique depuis `Python`.
640
640
641
-
#### Cas d'un Dataframe
641
+
#### Cas d'un Dataframe {-}
642
642
643
-
Reprenons un exemple issu du cours sur les [API](/content/manipulation/04c_API_TP.qmd#illustration-avec-une-api-de-lademe-pour-obtenir-des-diagnostics-énergétiques) pour simuler une étape de récupération de données coûteuse en temps.
643
+
Reprenons un exemple issu du cours sur les [API](/content/manipulation/04c_API_TP.qmd#illustration-avec-une-api-de-lademe-pour-obtenir-des-diagnostics-énergétiques pour simuler une étape de récupération de données coûteuse en temps.
@@ -683,7 +684,7 @@ with fs.open(FILE_PATH_OUT_S3, 'wb') as file_out:
683
684
df_dpe.to_parquet(file_out)
684
685
```
685
686
686
-
#### Cas de fichiers
687
+
#### Cas de fichiers {-}
687
688
688
689
Dans la partie précédente, on était dans le cas "simple" d'un dataframe, ce qui nous permettait d'utiliser directement les fonctions d'export de `Pandas`. Maintenant, imaginons qu'on ait plusieurs fichiers d'entrée, pouvant chacun avoir des formats différents. Un cas typique de tels fichiers sont les fichiers `ShapeFile`, qui sont des fichiers de données géographiques, et se présentent sous forme d'une combinaison de fichiers (cf. [chapitre sur GeoPandas](/content/manipulation/03_geopandas_intro.qmd#le-format-shapefile-.shp-et-le-geopackage-.gpkg)). Commençons par récupérer un fichier `.shp` pour voir sa structure.
689
690
@@ -725,7 +726,7 @@ Si tout a bien fonctionné, la commande ci-dessus devrait renvoyer une liste con
725
726
726
727
En sens inverse, pour récupérer les fichiers depuis `MinIO` dans une session `Python`, les commandes sont symétriques.
727
728
728
-
#### Cas d'un dataframe
729
+
#### Cas d'un dataframe {-}
729
730
730
731
Attention à bien passer cette fois le paramètre `r` (`read`, pour lecture) et non plus `w` (`write`, pour écriture) à la fonction `fs.open` afin de ne pas écraser le fichier !
731
732
@@ -757,7 +758,7 @@ with fs.open(FILE_PATH_S3, 'rb') as file_in:
757
758
df_dpe.head(2)
758
759
```
759
760
760
-
#### Cas de fichiers
761
+
#### Cas de fichiers {-}
761
762
762
763
Dans le cas de fichiers, on va devoir dans un premier temps rapatrier les fichiers de `MinIO` vers la machine local (en l'occurence, le service ouvert sur le SSP Cloud).
0 commit comments