pb format date lors de l'import vers postgres

[SebCasa]

Bonjour,
j'utilise le Plugin depuis la première version sans aucun problème.
Mais depuis un bug pc j'ai tt réinstallé et migré vers postgres 10
Mais j'ai ce message :
ERREUR / ERREUR: valeur du champ date/time en dehors des limites : « 29022009 »

-- Traitement: parcelle
INSERT INTO "TEST1mars2018".parcelle
(
parcelle, annee, ccodep, ccodir, ccocom, ccopre, ccosec, dnupla, dcntpa, dsrpar, dnupro, jdatat, dreflf, gpdl, cprsecr, ccosecr, dnuplar, dnupdl, gurbpa,
dparpi, ccoarp, gparnf, gparbat, parrev, gpardp, fviti, dnvoiri, dindic, ccovoi, ccoriv, ccocif, gpafpd, ajoutcoherence,
comptecommunal, pdl, voie,
cconvo, dvoilib, ccocomm, ccoprem, ccosecm, dnuplam, parcellefiliation, type_filiation,
ccoifp,
lot
)
SELECT
REPLACE('2017'||SUBSTRING(tmp,1,15),' ','0') AS parcelle,
'2017' AS annee,
SUBSTRING(tmp,1,2) AS ccodep,
SUBSTRING(tmp,3,1) AS ccodir,
SUBSTRING(tmp,4,3) AS ccocom,
SUBSTRING(tmp,7,3) AS ccopre,
SUBSTRING(tmp,10,2) AS ccosec,
SUBSTRING(tmp,12,4) AS dnupla,

to_number(SUBSTRING(tmp,22,9),'000000000') AS dcntpa,
SUBSTRING(tmp,31,1) AS dsrpar,
SUBSTRING(tmp,32,6) AS dnupro,
CASE WHEN trim(SUBSTRING(tmp,38,8))='' THEN NULL ELSE to_date(SUBSTRING(tmp,38,8),'DDMMYYYY') END AS jdatat,
SUBSTRING(tmp,46,5) AS dreflf,
SUBSTRING(tmp,51,1) AS gpdl,

SUBSTRING(tmp,52,3) AS cprsecr,
SUBSTRING(tmp,55,2) AS ccosecr,
SUBSTRING(tmp,57,4) AS dnuplar,
CASE WHEN trim(SUBSTRING(tmp,61,3))='' THEN NULL ELSE SUBSTRING(tmp,61,3) END AS dnupdl,
CASE WHEN SUBSTRING(tmp,64,1) IS NULL THEN ' ' ELSE SUBSTRING(tmp,64,1) END AS gurbpa,
SUBSTRING(tmp,65,4) AS dparpi,
CASE WHEN SUBSTRING(tmp,69,1) IS NULL THEN ' ' ELSE SUBSTRING(tmp,69,1) END AS ccoarp,
CASE WHEN (SUBSTRING(tmp,70,1) IS NULL OR SUBSTRING(tmp,70,1) != '1') THEN '0' ELSE SUBSTRING(tmp,70,1) END AS gparnf,
CASE WHEN (SUBSTRING(tmp,71,1) IS NULL OR SUBSTRING(tmp,71,1) != '1') THEN '0' ELSE SUBSTRING(tmp,71,1) END AS gparbat,

SUBSTRING(tmp,72,12) AS parrev,
CASE WHEN SUBSTRING(tmp,84,01) IS NULL THEN '0' WHEN SUBSTRING(tmp,84,01) != '1' THEN '0' ELSE SUBSTRING(tmp,84,01) END AS gpardp,
SUBSTRING(tmp,85,01) AS fviti,

SUBSTRING(tmp,86,4) AS dnvoiri,
SUBSTRING(tmp,90,1) AS dindic,
SUBSTRING(tmp,91,5) AS ccovoi,
SUBSTRING(tmp,96,4) AS ccoriv,
SUBSTRING(tmp,100,4) AS ccocif,

SUBSTRING(tmp,104,1) AS gpafpd,
'N',
REPLACE('2017'||SUBSTRING(tmp,1,2)||SUBSTRING(tmp,4,3)||SUBSTRING(tmp,32,6),' ', '0') AS comptecommunal,
CASE WHEN trim(SUBSTRING(tmp,61,3))='' THEN NULL ELSE REPLACE('2017'||SUBSTRING(tmp,1,6)||SUBSTRING(tmp,52,9)||SUBSTRING(tmp,61,3),' ', '0') END AS pdl,
CASE WHEN trim(SUBSTRING(tmp,91,5))='' THEN NULL ELSE REPLACE('2017'||SUBSTRING(tmp,1,6)||SUBSTRING(tmp,91,5)||SUBSTRING(tmp,96,4),' ', '0') END AS voie,

SUBSTRING(tmp,136,4) AS cconvo,
SUBSTRING(tmp,140,26) AS dvoilib,

CASE WHEN trim(SUBSTRING(tmp,166,3))='' THEN NULL ELSE SUBSTRING(tmp,166,3) END AS ccocomm,
CASE WHEN trim(SUBSTRING(tmp,169,3))='' THEN NULL ELSE SUBSTRING(tmp,169,3) END AS ccoprem,
CASE WHEN trim(SUBSTRING(tmp,172,2))='' THEN NULL ELSE SUBSTRING(tmp,172,2) END AS ccosecm,
CASE WHEN trim(SUBSTRING(tmp,174,4))='' THEN NULL ELSE SUBSTRING(tmp,174,4) END AS dnuplam,
CASE WHEN trim(SUBSTRING(tmp,174,4))='' THEN NULL ELSE REPLACE('2017'||SUBSTRING(tmp,1,3)||SUBSTRING(tmp,166,12),' ','0') END AS parcellefiliation,
SUBSTRING(tmp,178,1) AS type_filiation,

CASE WHEN trim(SUBSTRING(tmp,179,3))='' THEN NULL ELSE to_number(SUBSTRING(tmp,179,3),'999') END AS ccoifp,

'94' as lot
FROM "TEST1mars2018".nbat WHERE SUBSTRING(tmp,20,2) ='10'

et la j'ai beau changer les format de date postgis c'est toujours le même résultat

[mdouchin]

Bonjour,

Le souci vient des données qui contiennent une date qui n'est pas au bon format. En effet, 29022009 n'est pas une date valide : il n'y a pas de 29 février 2009, car 2009 n'était pas bissextile

Vous pourriez essayer de modifier le fichier MAJIC en cause avec un éditeur de texte et retenter l'import ?

[SebCasa]

ahh même pas percuté je test
merci de la piste

[lukkas1404]

Bonjour,

J'avais le même problème et après correction de toutes les dates abbérantes, le traitement plante à la toute fin.

Une idée ?
ci-après le message d'erreur.

ERREUR: la transaction est annulée, les commandes sont ignorées jusqu'à la fin du bloc
de la transaction

SET search_path = "plugin", public, pg_catalog;DROP TABLE IF EXISTS "batiment_id";DROP TABLE IF EXISTS "borne_id";DROP TABLE IF EXISTS "boulon_id";DROP TABLE IF EXISTS "commune_id";DROP TABLE IF EXISTS "croix_id";DROP TABLE IF EXISTS "id_s_obj_z_1_2_2";DROP TABLE IF EXISTS "lieudit_id";DROP TABLE IF EXISTS "numvoie_id";DROP TABLE IF EXISTS "parcelle_id";DROP TABLE IF EXISTS "ptcanv_id";DROP TABLE IF EXISTS "section_id";DROP TABLE IF EXISTS "subdfisc_id";DROP TABLE IF EXISTS "subdsect_id";DROP TABLE IF EXISTS "symblim_id";DROP TABLE IF EXISTS "tline_id";DROP TABLE IF EXISTS "tpoint_id";DROP TABLE IF EXISTS "tronfluv_id";DROP TABLE IF EXISTS "tronroute_id";DROP TABLE IF EXISTS "tsurf_id";DROP TABLE IF EXISTS "voiep_id";DROP TABLE IF EXISTS "zoncommuni_id";

[SebCasa]

Tu fais flipper
j'ai 7 département a corriger j'ai pas encore terminé le premier

[SebCasa]

Bon bah j'ai modifié mes fichiers sources et maintenant j'ai :
INITIALISATION

• Copie du répertoire C:\Users\s.maison.AFTRP.qgis2\python\cadastre\scripts/plugin
  0 s
  STRUCTURATION BDD
  Création des tables
  Création des tables edigeo
  Ajout de la nomenclature
  10 s
  MAJIC
  Suppression des contraintes

• SUPPRESSION DES CONTRAINTES D'INTEGRITEES : DEBUT
• suppression clefs primaires
• SUPPRESSION DES CONTRAINTES D'INTEGRITEES : FIN
  10 s
  Suppression des indexes
  10 s
  Import des fichiers majic
  E:\000_CADASTRE\CADASTREDGFIP\MAJICIII\77\BATI.A2017.N000849
  E:\000_CADASTRE\CADASTREDGFIP\MAJICIII\77\FANTOIR0118
  E:\000_CADASTRE\CADASTREDGFIP\MAJICIII\77\LLOC.A2017.N000849
  E:\000_CADASTRE\CADASTREDGFIP\MAJICIII\77\NBAT.A2017.N000849
  E:\000_CADASTRE\CADASTREDGFIP\MAJICIII\77\PDLL.A2017.N000849
  E:\000_CADASTRE\CADASTREDGFIP\MAJICIII\77\PROP.A2017.N000849
  638 s
  Mise en forme des données
• FORMATAGE DONNEES : DEBUT
• Traitement: parcelle
  710 s
• Traitement: suf
  780 s
• Traitement: sufexoneration
  851 s
• Traitement: suftaxation
  905 s
• Traitement: local00
  938 s
• Traitement: local10
  1013 s
• Traitement: pev
  1180 s
• Traitement: pevexoneration
  1190 s
• Traitement: pevtaxation
  1240 s
• Traitement: pevprincipale
  1280 s
• Traitement: pevprofessionnelle
  1286 s
• Traitement: pevdependances
  1306 s
• Traitement: commune_majic
  1314 s
• Traitement: proprietaire
  1516 s
• création: comptecommunal à partir de proprietaire
  1519 s
• Traitement: pdl
  1525 s
• Traitement: parcellecomposante
  1525 s
• Traitement: lots
  1537 s
• Traitement: lotslocaux
  1551 s
• Traitement: commune
  1552 s
• Traitement: voie
  1553 s
• purge des doublons : voie
  1554 s
• INDEXES
  1556 s
• ANALYSES
• FORMATAGE DONNEES : FIN
  1745 s
  Purge des données brutes
  1746 s
  EDIGEO
  Type de base : postgis, Connexion: data d, Schéma: aa

• Décompression des fichiers
  2720 s
  Suppression des contraintes

• SUPPRESSION DES CONTRAINTES D'INTEGRITEES : DEBUT
• suppression clefs primaires
• SUPPRESSION DES CONTRAINTES D'INTEGRITEES : FIN
  2720 s

• Import des fichiers EDIGEO dans la base

• Import des fichiers via ogr2ogr
  Erreur - L'import des données via OGR2OGR a échoué: PostgreSQL driver failed to create PG:host=localhost port=5432 dbname=CADASTRE2017 active_schema=aa user=postgres password= ['', '-s_srs', u'EPSG:2154', '-a_srs', u'EPSG:2154', '-append', '-f', 'PostgreSQL', u'PG:host=localhost port=5432 dbname=CADASTRE2017 active_schema=aa user=postgres password=', u"E:\000_CADASTRE\temp de l'appli\cad_edigeo_plain_hgps0t\tar_2136\E000BR01.THF", '-lco', 'GEOMETRY_NAME=geom', '-lco', 'PG_USE_COPY=YES', '-nlt', 'GEOMETRY', '-gt', '50000', '--config', 'OGR_EDIGEO_CREATE_LABEL_LAYERS', 'NO']
  FINALISATION
  qu'est ce que c'est?
  des pistes???

[mdouchin]

Merci pour le retour. Sur le dernier souci, il semble que le mot de passe ne soit pas coché comme "enregistré" dans la configuration de votre connexion PostgreSQL.
Vous pouvez soit cocher cette case dans les paramètres de connexion, soit utiliser un service PostgreSQL.

[SebCasa]

Merci c'est bien cela
maintenant j'ai des bug de date dans les EDIGEO

[SebCasa]

Voici mon nouveau message :
INSERT INTO "a".geo_subdsect
(geo_subdsect, annee, object_rid, idu, geo_section, geo_qupl, geo_copl, eor, dedi, icl, dis, geo_inp, dred, creat_date, update_dat, geom, lot)
SELECT '2017'||'770'||SUBSTRING(idu,1,10), '2017', object_rid, idu, '2017'||'770'||SUBSTRING(idu,1,8), qupl, copl, to_number(eor,'0000000000'), to_date(dedi, 'DD/MM/YYYY'), floor(icl), to_date(dis, 'DD/MM/YYYY'), inp, to_date(dred,'DD/MM/YYYY'), to_date(to_char(creat_date,'00000000'), 'YYYYMMDD'), to_date(to_char(update_date,'00000000'), 'YYYYMMDD'), ST_Multi(ST_CollectionExtract(ST_MakeValid(geom),3)),'77'
FROM "a".subdsect_id

[mdouchin]

Veuillez tester la dernière version "master", j'ai apporté des correctifs pour geo_subdsect, ainsi que pour les fichiers MAJIC

[MaelREBOUX]

Bonjour @SebCasa

Votre problème est-il toujours d'actualité ? Avez-vous testé avec la version 1.7.1 ?

[SebCasa]

Bonjour Désolé de la non réponse j'ai réglé ce problème grâce au correctif Je n'ai pas tester la version 1.7.1 J'attend la livraison du MAJIC Le lun. 19 août 2019 à 14:18, Maël REBOUX <notifications@github.com> a écrit :

…

Bonjour @SebCasa <https://github.com/SebCasa> Votre problème est-il toujours d'actualité ? Avez-vous testé avec la version 1.7.1 ? — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#127?email_source=notifications&email_token=AI2ZGB3DGIHCZFIPFOFV22LQFKFRLA5CNFSM4ETPUDC2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOD4SWTGQ#issuecomment-522545562>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AI2ZGB7RPTG6FQOC7WR7WXTQFKFRLANCNFSM4ETPUDCQ> .

[MaelREBOUX]

OK. Je me permet donc de fermer ce ticket.