Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Problème lors de l'import vers la synthèse de GeoNature via le script to_gnsynthese #28

Open
andriacap opened this issue Oct 5, 2022 · 1 comment
Labels
enhancement New feature or request help wanted Extra attention is needed

Comments

@andriacap
Copy link
Contributor

andriacap commented Oct 5, 2022

Dans le cadre d’une prestation avec le PN des Ecrins nous devions proposer des améliorations pour le module GN2PG .

Nous avons d’abord fait un export vers un schéma postgresql que nous avons ensuite essayé d'importer vers la synthèse d'un GeoNature via la commande : gn2pg_cli --custom-script to_gnsynthese <myconfigfile>.

Pour rappel, ce script (to_gnsynthese.sql) crée des triggers qui insèrent chaque donnée importée dans la synthèse. Lors du lancement de la commande gn2pg_cli --full <myconfigfile> nous avons rencontré des erreurs d'insertion dans la synthèse. Elles étaient dues à un mauvais format de l'export. Effectivement, ce dernier ne contenait pas les informations nécessaires de chaque Jeu De Donnée/Cadre d'Acquisition (GN2PG attend ces informations au format json). Ce qui amène à la question suivante : souhaitez-vous que l'on crée un script sql pour insérer dans la synthèse en spécifiant le jeu de donnée (à l'instar du module d'import) ? Cela éviterait alors de créer un export spécifique à GN2PG et donc permettrait de le rendre plus adaptable aux exports déjà existants.

Avec @mvergez et @ophdlv

@lpofredc
Copy link
Member

lpofredc commented Oct 5, 2022

Comment est paramétré la variable de configuration data_type de la source? Par défaut, c'est synthese_with_metadata (cf. https://github.com/lpoaura/GN2PG/blob/main/gn2pg/data/gn2pgconfig.toml). Cette configuration nécessite de générer, coté fournisseur de donnée, un export différent de l'export standard (script de création fourni ici dans data/source_sample : https://github.com/lpoaura/GN2PG/blob/main/data/source_samples/geonature_export_sinp_with_metadata.sql).

Si la base source contient beaucoup de données, il est recommandé de changer la vue par une vue matérialisée.

Pour s'appuyer sur l'export "standard" SINP du module d'export, il faut paramétrer data_type avec la valeur synthese_with_label.

Selon les usage, il parait en effet tout à fait intéressant de pouvoir paramétrer optionnellement et pour chaque source un jdd spécifique, déjà existant à la bdd.

@lpofredc lpofredc added enhancement New feature or request help wanted Extra attention is needed labels Jan 22, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request help wanted Extra attention is needed
Projects
None yet
Development

No branches or pull requests

2 participants