Skip to content

Commit

Permalink
Document JSON endpoint for consolidation (#113)
Browse files Browse the repository at this point in the history
* Document JSON endpoint for consolidation

* Link

* Add table of contents

* Update web/collections/_documentation/integration-autres-systemes.md

Co-authored-by: Geoffrey Aldebert <geoffrey.aldebert@gmail.com>

Co-authored-by: Geoffrey Aldebert <geoffrey.aldebert@gmail.com>
  • Loading branch information
AntoineAugusti and geoffreyaldebert committed May 28, 2020
1 parent c53ec23 commit 3957c19
Showing 1 changed file with 35 additions and 0 deletions.
35 changes: 35 additions & 0 deletions web/collections/_documentation/integration-autres-systemes.md
Expand Up @@ -6,6 +6,10 @@ order: 5
# Intégration avec d'autres systèmes
En tant que plateforme de référencement de schémas, `schema.data.gouv.fr` a vocation à être facilement utilisée par d'autres systèmes informatiques. Nous proposons plusieurs éléments à cet effet.

{:.no_toc}
- TOC
{:toc}

## Export des schémas valides
Nous proposons à l'adresse <https://schema.data.gouv.fr/schemas/schemas.zip> une archive compressée au format ZIP comprenant les schémas considérés comme valides par la plateforme ainsi que les fichiers de documentation associés à chaque version des schémas.

Expand Down Expand Up @@ -102,3 +106,34 @@ La variable `{fichier_schema}` varie suivant le type du schéma. Voici les valeu
- pour `xsd`, `{fichier_schema}` dépend du nom choisi par le producteur pour chaque schéma. Vous pouvez retrouver les noms des différents schémas à l'aide du fichier `schemas.yml`.

Si vous souhaitez un lien vers la dernière version publiée d'un schéma, vous pouvez remplacer `{version}` par `latest`.

## Informations sur la consolidation

La consolidation de données par rapport à un schéma consiste à rassembler plusieurs jeux de données conformes à un schéma en un seul jeu de données. schema.data.gouv.fr s'intéresse à ces jeux de données consolidés.

Des informations à ce propos sont disponibles à l'adresse <https://etalab.github.io/monitor-consolidation/report.json>, au format JSON. Ces informations font état de la conformité la plus récente de jeux de données consolidés.

```json
{
"5448d3e0c751df01f85d0572":{
"date":"2020-05-25",
"dataset_id":"5448d3e0c751df01f85d0572",
"name":"Fichier consolidé des Bornes de Recharge pour Véhicules Électriques",
"schema_slug":"etalab/schema-irve",
"schema_version":"1.0.3",
"file_url":"https://static.data.gouv.fr/resources/fichier-consolide-des-bornes-de-recharge-pour-vehicules-electriques/20200520-224356/bornes-irve-20200520.csv",
"report_url":"https://go.validata.fr/table-schema?input=url&schema_url=https://schema.data.gouv.fr/schemas/etalab/schema-irve/1.0.3/schema.json&url=https://static.data.gouv.fr/resources/fichier-consolide-des-bornes-de-recharge-pour-vehicules-electriques/20200520-224356/bornes-irve-20200520.csv&repair=true",
"nb_rows":12190,
"nb_errors":4365,
"nb_rows_with_errors":4018,
"errors_report":"{\"structure-errors\": {\"count\": 1, \"count-by-code\": {\"extra-header\": 1}}, \"value-errors\": {\"count\": 4364, \"rows-count\": 4018, \"count-by-code\": {\"required-constraint\": 4245, \"type-or-format-error\": 117, \"pattern-constraint\": 2}, \"count-by-col-and-code\": {\"n_enseigne\": {\"required-constraint\": 403}, \"id_station\": {\"required-constraint\": 446}, \"puiss_max\": {\"type-or-format-error\": 114}, \"Ylatitude\": {\"type-or-format-error\": 1, \"required-constraint\": 2}, \"nbre_pdc\": {\"required-constraint\": 1910}, \"Xlongitude\": {\"required-constraint\": 2, \"type-or-format-error\": 2}, \"code_insee\": {\"required-constraint\": 917, \"pattern-constraint\": 2}, \"acces_recharge\": {\"required-constraint\": 3}, \"accessibilit\\u00e9\": {\"required-constraint\": 560}, \"n_station\": {\"required-constraint\": 2}}}, \"count\": 4365}",
"status":"invalid",
"error_percentage":35,
"badge_url":"https://img.shields.io/static/v1?label=Consolidation&message=4365+erreurs&color=red&style=flat-square"
}
}
```

La clé de l'objet JSON retourné (`5448d3e0c751df01f85d0572` ici) correspond à l'identifiant du jeu de données sur data.gouv.fr.

Pour rappel, des informations sur la consolidation sont disponibles dans le fichier `schemas.yml`, dans la clé `consolidation`.

0 comments on commit 3957c19

Please sign in to comment.