L'endpoint /search/csv géocode mal en cas d'apostrophe courbe

[vdegove]

Issue copiée de datagouv/geo.api.gouv.fr#71 on m'a dit que c'était plutôt ici que ça se passait.

Pour deux fichiers identiques, avec colonne unique à géocoder, l'adresse "189 rue d’Aubervilliers, 75018 Paris" (avec apostrophe courbe) va être incorrectement géocodée au 189 rue Belliard, 75018 tandis que "189 rue d'Aubervilliers, 75018 Paris" va l'être au bon endroit.

Exemple :

➜  Téléchargements cat exempleBANCSV.csv 
Adresses
"189 Rue d'Aubervilliers, 75018 Paris"
"18 Rue de Sambre-Et-Meuse, 75010 Paris"
➜  Téléchargements curl -X POST -F data=@exempleBANCSV.csv https://api-adresse.data.gouv.fr/search/csv/
Adresses,latitude,longitude,result_label,result_score,result_type,result_id,result_housenumber,result_name,result_street,result_postcode,result_city,result_context,result_citycode,result_oldcitycode,result_oldcity,result_district
"189 Rue d'Aubervilliers, 75018 Paris",48.896641,2.370134,189 Rue d’Aubervilliers 75018 Paris,0.98,housenumber,75118_0517_00189,189,Rue d’Aubervilliers,,75018,Paris,"75, Paris, Île-de-France",75118,,,Paris 18e Arrondissement
"18 Rue de Sambre-Et-Meuse, 75010 Paris",48.875002,2.370747,18 Rue de Sambre-et-Meuse 75010 Paris,0.97,housenumber,75110_8801_00018,18,Rue de Sambre-et-Meuse,,75010,Paris,"75, Paris, Île-de-France",75110,,,Paris 10e Arrondissement
➜  Téléchargements cat exempleBANapostrophecourbe.csv 
Adresses
"189 Rue d’Aubervilliers, 75018 Paris"
"18 Rue de Sambre-Et-Meuse, 75010 Paris"
➜  Téléchargements curl -X POST -F data=@exempleBANapostrophecourbe.csv https://api-adresse.data.gouv.fr/search/csv/ 
Adresses,latitude,longitude,result_label,result_score,result_type,result_id,result_housenumber,result_name,result_street,result_postcode,result_city,result_context,result_citycode,result_oldcitycode,result_oldcity,result_district
"189 Rue d’Aubervilliers, 75018 Paris",48.895555,2.329227,189 Rue Belliard 75018 Paris,0.55,housenumber,75118_0838_00189,189,Rue Belliard,,75018,Paris,"75, Paris, �le-de-France",75118,,,Paris 18e Arrondissement
"18 Rue de Sambre-Et-Meuse, 75010 Paris",48.875002,2.370747,18 Rue de Sambre-et-Meuse 75010 Paris,0.97,housenumber,75110_8801_00018,18,Rue de Sambre-et-Meuse,,75010,Paris,"75, Paris, �le-de-France",75110,,,Paris 10e Arrondissement
➜  Téléchargements 

Le problème n'est pas présent sur le endpoint /search, Les requêtes pour :

http://api-adresse.data.gouv.fr/search/?q=189%20Rue%20d%27Aubervilliers,%2075018%20Paris
http://api-adresse.data.gouv.fr/search/?q=189%20Rue%20d%E2%80%99Aubervilliers,%2075018%20Paris

Renvoient le bon résultat.

Le commentaire ici : datagouv/geo.api.gouv.fr#71 (comment)

Indique un problème avec PATTERN.findall :

$ python2.7
>>> PATTERN.findall("189 Rue d'Aubervilliers, 75018 Paris")
['189', 'Rue', 'd', 'Aubervilliers', '75018', 'Paris']
>>> PATTERN.findall("189 Rue d’Aubervilliers, 75018 Paris")
['189', 'Rue', 'd\xe2', 'Aubervilliers', '75018', 'Paris']