Traitement

Traitement des données Insee

La procédure d'extraction et de mise en forme des données nécessaires au programme Conseil-Metropolitain.exe est la suivante :
▶️ A répéter pour chaque année précédant les élections municipales.

Etape manuelle

Cette première étape consiste à :

• télécharger 2 fichiers Excel depuis le site de l'Insee,
• en extraire 3 feuilles au format CSV (séparateur point-virgule, encodage UTF8),
• préserver l'information texte (pour humains) en tête des 3 fichiers CSV en ajoutant un '#' en début de ligne.

La page concernant les (sources)[Sources] des données donne les liens vers les fichiers de l'Insee ainsi que le nom des feuilles à extraire au format CSV (avec le point-virgule comme séprateur et un encodage UTF8).

Exemple

Cette extraction d'une feuille au format CSV

Intercommunalité et Métropole
France - Liste des intercommunalités
Mise en ligne le 18/03/2024       Géographie au 01/01/2024
Source(s) : Insee, Code officiel géographique
EPCI;LIBEPCI;NATURE_EPCI;NB_COM
200000172;Communauté de communes Faucigny-Glières;CC;7
200000438;Communauté de communes du Pays de Pontchâteau Saint-Gildas-des-Bois;CC;9

est éditée manuellement et devient :

# Intercommunalité et Métropole
# France - Liste des intercommunalités
# Mise en ligne le 18/03/2024       Géographie au 01/01/2024
# Source(s) : Insee, Code officiel géographique
EPCI;LIBEPCI;NATURE_EPCI;NB_COM
200000172;Communauté de communes Faucigny-Glières;CC;7
200000438;Communauté de communes du Pays de Pontchâteau Saint-Gildas-des-Bois;CC;9

Notez que la ligne juste avant les données (celle qui définit le nom des champs) n'est pas modifiée.

👉 On peut en profiter pour ajouter d'autres lignes commençant par # pour indiquer, par exemple, l'origines des données.

Etape automatique

A partir des 3 fichiers csv créés manuellement pour une année donnée, le script Perl Build-CommunePopulation-par-metropole.pl construit pour chaque métropole un fichier CSV contenant le nom des communes de la métropole et leurs populations municipales.

Exemple:

Deûlémont;1801
Hœnheim;11413
L'Union;12410
Toulouse;511684

Le batch RunBuild.bat yyyy simplifie l'éxecution du script Perl en passant les bons noms des fichiers à utiliser pour l'année yyyy et de désigner le répertoire de sortie approprié (en principe insee/Résultats/yyyy/)

NOTE

Ces fichiers CSV sont ceux qui seront lus par le programme Conseil-Metropolitain.exe
Vous pouvez les consulter ici classés par année d'entrée en vigueur.

Ils peuvent servir de base pour vos propre fichiers csv de simulation, mais attention :

• le séparateur est toujours le point-virgule,
• l'encodage est toujours UTF-8,
• les lignes commençant par # sont toujours des commentaires,
• MAIS il ne doit pas y avoir de ligne avec le nom des deux champs.

❌ C'est exemple N'EST PAS valide

NomCommune;PopulationMunicipale
Deûlémont;1801
Hœnheim;11413
L'Union;12410
Toulouse;511684

✅ C'est exemple EST valide

# NomCommune;PopulationMunicipale
Deûlémont;1801
Hœnheim;11413
L'Union;12410
Toulouse;511684