Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Problème import Majic départemental #225

Open
VGC-Julien opened this issue Jan 14, 2020 · 2 comments
Open

Problème import Majic départemental #225

VGC-Julien opened this issue Jan 14, 2020 · 2 comments
Labels
données concerne un problème sur la qualité des données utilisées à fermer ? import concerne les fonctions d'import et de traitement des fichiers DGFiP

Comments

@VGC-Julien
Copy link

VGC-Julien commented Jan 14, 2020

Bonjour
J'ai importé les données Edigeo via le plugin en octobre, tout bon, sauf pour majic que j'avais du coup laissé de coté.

Je me suis repenché dessus et j'ai suivi le billet pensant être confronté au problème d'encodage dans les données
#191
mais rien n'y fait je ne parviens pas à trouver le problème et intégrer ces données via le plugin 1.8.1 sous QGIS 3.4

Reproduire le bug

Problème 1:

  1. creation bd cadastre sous postgres extension postgis et schema cadastre
  2. j'ai les données sources département 71 livrées en csv
    3.Import via le plugin des données sources en csv après config des noms

Log

Une erreur est survenue lors de l'éxécution du code Python: 

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf4 in position 1905: invalid continuation byte 
Traceback (most recent call last):
  File "C:/Users/julie/AppData/Roaming/QGIS/QGIS3\profiles\default/python/plugins\cadastre\cadastre_dialogs.py", line 727, in processImport
    qi.importMajic()
  File "C:/Users/julie/AppData/Roaming/QGIS/QGIS3\profiles\default/python/plugins\cadastre\cadastre_import.py", line 444, in importMajic
    item['method']()
  File "C:/Users/julie/AppData/Roaming/QGIS/QGIS3\profiles\default/python/plugins\cadastre\cadastre_import.py", line 502, in importMajicIntoDatabase
    for a in fin:
  File "C:\OSGeo4W\apps\Python37\lib\codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf4 in position 1905: invalid continuation byte


Version de Python : 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:06:47) [MSC v.1914 32 bit (Intel)] 
Version de QGIS : 3.4.13-Madeira Madeira, 64ad560274 

Chemin Python :
C:/OSGeo4W/apps/qgis-ltr/./python
C:/Users/julie/AppData/Roaming/QGIS/QGIS3\profiles\default/python
C:/Users/julie/AppData/Roaming/QGIS/QGIS3\profiles\default/python/plugins
C:/OSGeo4W/apps/qgis-ltr/./python/plugins
C:\OSGeo4W\bin\python37.zip
C:\OSGeo4W\apps\Python37\DLLs
C:\OSGeo4W\apps\Python37\lib
C:\OSGeo4W\bin
C:\OSGeo4W\apps\Python37
C:\OSGeo4W\apps\Python37\lib\site-packages
C:\OSGeo4W\apps\Python37\lib\site-packages\win32
C:\OSGeo4W\apps\Python37\lib\site-packages\win32\lib
C:\OSGeo4W\apps\Python37\lib\site-packages\Pythonwin
C:/Users/julie/AppData/Roaming/QGIS/QGIS3\profiles\default/python
C:\Users\julie\AppData\Roaming\QGIS\QGIS3\profiles\default\python\plugins\cadastre\forms
C:\Users\julie\AppData\Roaming\QGIS\QGIS3\profiles\default\python\plugins\shapetools\ext-libs

Cela c'est ce que j'avais la dernière fois!

Problème 2 :

Depuis ayant eu à utiliser Majic j'avais importé via le fichier sql départemental livré lui aussi, à l'aide de pgsql, sous postgres, je me suis refait un export csv utf8 de cette bd pour retenter la manip à partir du plugin.

L'erreur précédente n'apparait plus mais j'ai un log sur le plugin me disant de faire un import en trois fois (problème entre département et direction?)

log

INITIALISATION
* Copie du répertoire C:\Users\julie\AppData\Roaming\QGIS\QGIS3\profiles\default\python\plugins\cadastre\scripts/plugin 
0 s 
MAJIC
Suppression des contraintes 
- SUPPRESSION DES CONTRAINTES D'INTEGRITEES : DEBUT 
- suppression clefs primaires 
- SUPPRESSION DES CONTRAINTES D'INTEGRITEES : FIN 
0 s 
Suppression des indexes 
0 s 
Import des fichiers majic 
ERREUR : MAJIC - Les données concernent des départements et codes direction différents : 
département : 71 et direction : 0,
département : 71 et direction : 3,
département : 71 et direction : 2 
Veuillez réaliser l'import en 3 fois. 

Or j'ai contrôlé les champs direction de ma bd source de laquelle j'ai exporté
--select distinct ccodirl from ff_d71_2017."d71_2017_lotslocaux"--OK = 0
--select distinct ccodir from ff_d71_2017."d71_2017_pb0010_local"--OK = 0
--select distinct ccodir from ff_d71_2017."d71_2017_pdl10_pdl"--OK = 0
--select distinct ccodir from ff_d71_2017."d71_2017_pnb10_parcelle"--OK = 0
--select distinct ccodir from ff_d71_2017."d71_2017_proprietaire_droit"--OK = 0
J'ai testé sans le fichier fantoir : idem
Que ce soit dans une base Edigeo déjà importé ou une toute neuve.
Je ne comprends guère le problème, mais si j'avais retrouvé ces ccodir 3 et 2 dans mes tables j'aurais regardé pour l'import en plusieurs fois.

Environnement

  • OS: Windows10
  • Version de QGIS 3.4
  • Version du plugin 1.8.1

Désolé pour l'épilogue, j'espère que mon post ici est pertinent dans le sens ou ce pourrait être un problème plus important qu'un problème de données, à l'inverse veuillez m'excuser car je ne sais pas trop ou trouver plus d'infos qu'ici.
Je rate surement quelque chose n'étant pas familier de cet outil (c'est la première fois que je suis amené à travailler sur ces données), mais en tout cas merci par avance pour vos retours d'info et félicitations pour ce projet.
Cdlt

@MaelREBOUX MaelREBOUX added données concerne un problème sur la qualité des données utilisées import concerne les fonctions d'import et de traitement des fichiers DGFiP labels Feb 17, 2020
@MaelREBOUX
Copy link
Collaborator

Bonjour @VGC-Julien

Rencontrez-vous toujours le problème ?
pouvez-vous recommencer avec la dernière version 1.9.0 ?

@MaelREBOUX
Copy link
Collaborator

Bonjour @VGC-Julien

Rencontrez-vous toujours le problème ?
pouvez-vous recommencer avec la dernière version 1.10.2 ?

Sans retour de votre part nous fermerons ce ticket. merci.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
données concerne un problème sur la qualité des données utilisées à fermer ? import concerne les fonctions d'import et de traitement des fichiers DGFiP
Projects
None yet
Development

No branches or pull requests

2 participants