Mapping champs ODSPEP 2023 <=> format intermédiaire

[ColinMaudry]

Les données ODSPEP sont converties au format data.inclusion à partir d'un format intermédiaire, une version normalisée de fichiers Excel envoyés en 2022.

Fichier Excel => format intermédiaire normalisé => data.inclusion

Afin de faciliter le chargement des données reçues en janvier 2023, nous convertissons ces données au même format normalisé. Ce format normalisé se compose de plusieurs fichiers :

• ressources.csv
• contacts.csv
• familles.csv
• horaires.csv
• sous-categories.csv

Première étape : faire le mapping.

resources.csv

Champ cible	Champ source 2023	Commentaire
ID_RES	RES_PARTENARIALE.ID_RES
LIBELLE_SERVICE	RES_PARTENARIALE.LIBELLE_COURT_RSP
DESCRIPTION_SERVICE	RES_PARTENARIALE.SERVICE_DESCRIPTION_RSP
STRUCTURE	RES_PARTENARIALE.NOM_STRUCTURE_RSP
SERVICE_RSP	RES_PARTENARIALE.SERVICE_RSP
ID_ADR	RES_PARTENARIALE.ID_ADR
L1_IDENTIFICATION_DEST_ADR	ADRESSE.L1_IDENTIFICATION_DEST_ADR
L2_IDENTITE_DEST_ADR	ADRESSE.L2_IDENTITE_DEST_ADR
L4_NUMERO_LIB_VOIE_ADR	ADRESSE.L4_NUMERO_LIB_VOIE_ADR
L3_COMPLEMENT_ADR	ADRESSE.L3_COMPLEMENT_ADR
L5_MENTION_ADR	ADRESSE.L5_MENTION_ADR
L7_PAYS_ADR	ADRESSE.L7_PAYS_ADR
LATITUDE_ADR	ADRESSE.LATITUDE_ADR
LONGITUDE_ADR	ADRESSE.LONGITUDE_ADR
EST_NORMALISEE_ADR	ADRESSE.EST_NORMALISEE_ADR
CODE_COMMUNE_ADR	ADRESSE.CODE_COMMUNE_ADR
CODE_POSTAL_ADR	ADRESSE.CODE_POSTAL_ADR
LIBELLE_COMMUNE_ADR	ADRESSE.LIBELLE_COMMUNE_ADR
DATE DERNIERE MAJ	RES_PARTENARIALE.DATE_DERNIERE_MODIF_RSP

[vmttn]

Tu peux aussi faire évoluer les champs cibles attendus par le mapping actuel. Ils ont été définis en se basant sur le précédent export (dont les données sont également incluses dans le tout dernier export) et n'ont pas d'autres justification.

[ColinMaudry]

Pour l'instant je pousse jusqu'au bout, je veux éviter de faire déborder le chantier sur la partie Airflow si possible.

[ColinMaudry]

Après en avoir discuté, on va arrêter de passer par des fichiers intermédiaires. Les fichiers que l'on reçoit de Pôle emploi ont une structure normalisée qui est quasiment stable. Donc on peut les convertir directement au bon format.