create uuid on json tables

[dthonon]

In GitLab by @fred.lpo07 on May 14, 2019, 13:56

universal unique id uuid is created on structured tables. To preserve uuid assignation on datas, uuid should be integrated in observation_json table.

[dthonon]

Je vais transférer la création de l'UUID au moment de l'insertion du JSON.
La question : est-ce qu'il faut prévoir de récupérer les UUID actuellement dans les tables en colonne ou est qu'ils peuvent être supprimés et remplacés par de nouveaux UUID ?
S'il faut vraiment les conserver, il faudra prévoir un script SQL supplémentaire pour

1. les exporter de la base actuelle
2. après recréation des tables json (nécessaire pour les forms), remplacement des UUID crées à la volée par les anciens UUID.

Daniel

[dthonon]

In GitLab by @fred.lpo07 on Jun 14, 2019, 13:58

A confirmer avec @jgc_lpoaura s'il y a eu des transfert avec ces UUID (je n'ai pas encore intégré les anciens) mais je dirai oui, il faut les conserver. Je prévoir d'ajouter un trigger pour alimenter une table de suivi des données avec son uuid, la source, l'id_source, un timestamp et l'action (I(nsert), U(pdate),D(elete)).

[dthonon]

In GitLab by @jgc_lpoaura on Jun 14, 2019, 14:08

Il y a 2 choses :

• un transfert récent d'un gros jeu de données dégradés avec UUID pour un travail de modélisation
• un transfert + ancien avec génération d'UUID pour une transmission officielle.
  Pour le premier point, ce n'est pas grave si ces UUID sont "perdus", si c'est + simple, on les re-génère et c'est tout.
  Pour le second point, il faudra nécessairement ré-injecter les UUID générer en faisant le lien sur le site et l'id_sighting.

[dthonon]

Après réflexion, je pense qu'il faut créer une table spécifique et "immuable" pour gérer les UUID. En effet, si l'UUID est créé au téléchargement, dans la table observations_json, elle sera perdue en cas de rechargement complet.
Je propose de la créer dans le schéma src_vn et non import, pour la mettre bien à part des tables importées depuis biolovision.

Cette table contiendra :

• uuid: l'UUID créé à l'import (puis remplacée par l'UUID ancienne, cf transfert 2 ci-dessous)
• site
• id
• universal_id, car c'est celui qui devrait être utilisé par biolovision, surtout après import de tous les sites dans FF

Pour les autres tables (species...), je supprime l'UUID qui n'est pas nécessaire et qui prend de la place pour rien.

Pas d'objections ?

[dthonon]

In GitLab by @fred.lpo07 on Jun 18, 2019, 00:55

Non, pas d'objections, en effet, c'est plus logique et prudent comme approche.
Il y a juste une vigilance à avoir, le devenir de cette table en cas de régénération des tables structurées, elle doit perdurer.

Peut-être prévoir aussi (pour les prochaines évolutions de l'API qui fournira un véritable UUID) d'ajouter une vérification de présence de l'uuid dans la donnée source et alors préciser la source de l'uuid (visionature ou autogénéré?).

[dthonon]

Finished in 9ac00a8

[dthonon]

closed