Validation automatique des données

[camillemonchicourt]

Un des enjeux évoqués du module Validation est le fait de pouvoir valider automatiquement les données banales. Ou du moins de pouvoir mettre en avant les données exceptionnelles.
Pour faire cela, à voir comment mettre en place des règles dans la BDD, générique et adaptables à chaque contexte.

Un exemple : http://si.cenlr.org/validation_automatique_de_donnee

[gildeluermoz]

Une validation totalement automatique ça se discute.

Je pense par contre que le sujet est un bon candidat à l'intelligence artificielle. Et plus il y aura de donnée plus le réseau de neurones sera pertinent. Ce qui milite pour une API basée sur l'ensemble des données du SINP auxquelles il serait pertinent d'ajouter tout ce qui peut provenir de l'expertise de l'UMS Patrinat.
Du coup, on peut avoir des règles locales mais si on peut consulter un service qui nous retourne un niveau (en %) ou une note (de 0 à 20 ou à 100), on peut utiliser cette réponse pour lever des warnings dès la saisie. A l'utilisateur d'en tenir compte ou pas. On peut aussi demander le poids de chaque paramètre dans la note (dateobs, loc, altitude, observateur, etc...).
Ce service pourrait être utilisé à la saisie ou par les validateurs dans le module de validation.

A ma connaissance, les librairies python sur le sujet permettent de coder ça en qq lignes. Mais je me trompe peut-être.

[camillemonchicourt]

Clairement, il ne s'agit pas de valider les données automatiquement.
Mais plutôt de mettre en avant les données exceptionnelles (jamais vu dans la commune, jamais vu à telle altitude, jamais vu à cette période...) pour orienter la validation.
Faire un truc basé sur le SINP serait idéal en effet, mais on pourrait commencé par quelque chose plus simple, basé sur les données dans la Synthèse.

Et en effet, des alertes dès la saisie, avaient été évoqués/demandés par certains.
Les couleurs et unités géographiques de la V1 étaient d'ailleurs un élément pouvant être utilisé dans ce sens.

[orovellotti]

Est ce que quelqu’un dispose d’un gros jeux de données avce des données annotées comme normale et d’autre comme anormale ?

On doit pouvoir faire un poc si c’est le cas ?

Merci

[camillemonchicourt]

On peut déjà commencer avec des choses simples en se basant sur les données du PNE (1 million de données dans la Synthèse sur le territoire) en identifiant :

• Si le taxon n'a jamais été vu dans la commune
• Si il n'a jamais été vu à cette altitude
• Si il n'a jamais été vu à cette période

Et si une observation rentre dans un des ces 3 cas, alors on attire l'attention sur ces données "exceptionnelles" pour les valider en priorité.

[gildeluermoz]

Olivier
J'ai discuté avec Olivier Gargomini du SPN, eux disposent d'un jeu de données avec validée non-validée.
J'ai aussi discuter de ça avec Olivier Courtin il dit que l'on peut utiliser le réseau de neurone sans les négatifs et uniquement avec les positifs mais évidemment c'est plus pertinent si on a les deux.

[orovellotti]

Si on veut juste "taxon n'a jamais été vu dans la commune" ont n'a pas besoin de réseau de neurone, une simple requette SQL peut faire le job.

Ca reste hyper interessant d'entainer un reseau sur les "validees / non validees" scientifiquement mais en terme de finesse du diagnostic.

[gildeluermoz]

Si je t'exporte les champs cd_nom et Insee sur les 1 million de données que l'on a dans notre GeoNature est-ce que ça le fait ?

[orovellotti]

il faudrait avoir toute l'observation (qui, quand, ou, quoi) et l'annotation valide ou non valide.

[camillemonchicourt]

Oui je baserai ça directement sur les données de la Synthèse où on a les obs avec date, localisation, insee, altitude et meme Validation à terme.

Je ferai deja 3 vues matérialisées basées sur la Synthese calculant pour chaque taxon l'altitude min et max, les communes de présence et les dates min et max.

Chacun pourrait adapter ces VM pour ne prendre que les donnees validées par exemple.

[gildeluermoz]

Le "qui" n'apporte pas grand chose il me semble pour le moment et c'est rgpd sensible ;). Je ne le mettrais pas.

Voici une requête vite fait qu'on peut mettre en vue matérialisée si besoin. Elle compile toutes les infos dans une seule vue.
Je pense que l'info INSEE n'est pas vraiment pertinente. Les bestioles ne connaissent pas les frontières communales. Par contre si on prend la bbox de l'ensemble des obs du taxon, on est bcp plus pertinent.
Idem, comme c'est un calcul machine, pour travailler sur les dates, j'ai choisi le jour de l'année (de 1 à 366).
Je calcule aussi le nombre d'observations pour pouvoir fixer un seuil de pertinence.
Attention toutes les données avec date imprécises pourrissent le résultat, idem pour les altitudes à 0, idem pour les loc imprécises. Il faudra affiner la requête pour exclure toutes les données imprécises sur le où et le quand.

GeoNature2

WITH loc AS (SELECT DISTINCT cd_nom, count(*) AS nbobs,
min(st_x(the_geom_point)::int) AS xmin,
max(st_x(the_geom_point)::int) AS xmax, 
min(st_y(the_geom_point)::int) AS ymin,
max(st_y(the_geom_point)::int) AS ymax
FROM gn_synthese.synthese
GROUP BY cd_nom),
dat AS (SELECT DISTINCT cd_nom, 
min(TO_CHAR(date_min, 'DDD')::int) AS daymin,
max(TO_CHAR(date_max, 'DDD')::int) AS daymax
FROM gn_synthese.synthese
GROUP BY cd_nom),
alt AS (SELECT DISTINCT cd_nom,
min(altitude_min) AS altitudemin,
max(altitude_max) AS altitudemax
FROM gn_synthese.synthese
GROUP BY cd_nom
)
SELECT loc.cd_nom, nbobs, xmin, xmax, ymin, ymax, daymin, daymax, altitudemin, altitudemax
FROM loc 
JOIN alt ON alt.cd_nom = loc.cd_nom
JOIN dat ON dat.cd_nom = loc.cd_nom
ORDER BY cd_nom;

GeoNature1 (test sur 1 million de données, les perfs sont assez bonnes : 5s dans pgadmin pour 6658 taxons).
Si on fait la requête pour 1 seul taxon, on est à moins de 100 ms (73ms). Et comme on a besoin de la réponse taxon par taxon, on peut envisager d'écrire une fonction avec le cd_nom en paramètre.
Si on analyse les résultats, ça demande un peu de nettoyage des données imprécises mais on est pas mal. J'ai regardé les dates pour les migrateurs ou pas migrateurs et les altitudes, il y a qq abbérations mais c'est pas mal. A creuser.

WITH loc AS (SELECT DISTINCT cd_nom, count(*) AS nbobs,
min(st_x(the_geom_point)::int) AS xmin,
max(st_x(the_geom_point)::int) AS xmax, 
min(st_y(the_geom_point)::int) AS ymin,
max(st_y(the_geom_point)::int) AS ymax
FROM synthese.syntheseff --WHERE cd_nom = 351
GROUP BY cd_nom),
dat AS (SELECT DISTINCT cd_nom, 
min(TO_CHAR(dateobs, 'DDD')::int) AS daymin,
max(TO_CHAR(dateobs, 'DDD')::int) AS daymax
FROM synthese.syntheseff --WHERE cd_nom = 351
GROUP BY cd_nom),
alt AS (SELECT DISTINCT cd_nom,
min(altitude_retenue) AS altitudemin,
max(altitude_retenue) AS altitudemax
FROM synthese.syntheseff --WHERE cd_nom = 351
WHERE altitude_retenue != 0 AND altitude_retenue IS NOT NULL
GROUP BY cd_nom
)
SELECT loc.cd_nom, t. nom_vern, t.nom_complet, nbobs,  daymin, daymax, altitudemin, altitudemax, xmin, xmax, ymin, ymax
FROM loc
LEFT JOIN alt ON alt.cd_nom = loc.cd_nom
LEFT JOIN dat ON dat.cd_nom = loc.cd_nom 
JOIN taxonomie.taxref t ON t.cd_nom = loc.cd_nom
ORDER BY cd_nom

[camillemonchicourt]

OK super.
Bien vu pour la bbox.
Peut être qu'il sera plus simple d'intersecter la geometrie de l'observation avec la bbox (https://postgis.net/docs/ST_Extent.html) mais c'est surement plus lourd à verifier. Mais mieux pour les obs lignes et polygones.
Et pour les taxons il faudra peut etre plutot verifier sur les cd_ref si une espece a été notée sous différents synonymes.

[gildeluermoz]

Oui bonne idée. J'affine ça et je teste sur les données de la V1.
Olivier, est-ce que tu veux que je vous envoie le tableau de résultat pour tous les taxons du PNE ?

[camillemonchicourt]

A terme il faudra intégrer ça dans le schéma Synthese et l'intégrer à l'API pour pouvoir l'utiliser dans différents modules.
Dans le module Validation, cela permettra de mettre en avant les données non validées qui ont un caractère exceptionnelles.
Dans des modules de saisie comme OccTax, cela permettrait de donner des alertes au moment de la saisie, du genre : "Ce taxon n'a jamais été noté à cette altitude".
Si ce service est basé sur une vue, cela permettra à chacun de l'adapter (en le basant que sur les données validées, sur toutes les données, uniquement sur les données de sa structures sans les données partenaires etc etc...)

[gildeluermoz]

Voici une function pour la V1 qui permet de travailler taxon par taxon avec de très bonnes perfs.

CREATE OR REPLACE FUNCTION synthese.fct_calculate_min_max_for_taxon(mycdnom integer)
  RETURNS TABLE(cd_ref int, nbobs bigint,  daymin int, daymax int, altitudemin int, altitudemax int, bbox4326 geometry) AS
$BODY$
  BEGIN
    --USAGE (getting all fields): SELECT * FROM synthese.fct_calculate_min_max_for_taxon(351);
    --USAGE (getting one or more field) : SELECT cd_ref, bbox4326 FROM synthese.fct_calculate_min_max_for_taxon(351)
    --See field names in TABLE declaration above
	RETURN QUERY WITH 
	loc AS (SELECT 
			taxonomie.find_cdref(cd_nom) AS cdref,
			count(*) AS nb_obs,
			ST_Transform(ST_SetSRID(box2d(st_extent(the_geom_local))::geometry,2154), 4326) AS bbox_4326
		FROM synthese.syntheseff
		WHERE cd_nom = mycdnom AND supprime = false
		GROUP BY cdref),
	dat AS (SELECT 
			taxonomie.find_cdref(cd_nom) AS cdref, 
			min(TO_CHAR(dateobs, 'DDD')::int) AS day_min,
			max(TO_CHAR(dateobs, 'DDD')::int) AS day_max
		FROM synthese.syntheseff
		WHERE cd_nom = mycdnom AND supprime = false
		GROUP BY cd_nom),
	alt AS (SELECT
			taxonomie.find_cdref(cd_nom) AS cdref,
			COALESCE(min(altitude_retenue), -1) AS altitude_min,
			COALESCE(max(altitude_retenue), -1) AS altitude_max
		FROM synthese.syntheseff
		WHERE cd_nom = mycdnom AND supprime = false
		AND altitude_retenue != 0 AND altitude_retenue IS NOT NULL
		GROUP BY cd_nom
	)
	SELECT loc.cdref, nb_obs,  day_min, day_max, altitude_min, altitude_max, bbox_4326
	FROM loc
	LEFT JOIN alt ON alt.cdref = loc.cdref
	LEFT JOIN dat ON dat.cdref = loc.cdref 
	JOIN taxonomie.taxref t ON t.cd_nom = loc.cdref
	ORDER BY cdref;

	END;
$BODY$
LANGUAGE plpgsql VOLATILE
COST 100;

La fonction retourne une table avec une seule ligne (= un record) qu'on peut utiliser dans le FROM ou le JOIN d'une requête.

SELECT st_intersects(mm.bbox4326, le_geom_de_mon_obs) as in_know_bbox,
CASE WHEN l_atitude_de_lobs > altitudemax OR  l_atitude_de_lobs < altitudemin THEN false ELSE true END AS in_know_altitude,
CASE WHEN le_jour_de_lobs > daymax OR le_jour_de_lobs < daymin THEN false ELSE true END AS in_know_period
FROM synthese.fct_calculate_min_max_for_taxon(le_cd_nom_du_taxon) mm;

Si ça vous convient, je l'adapte pour la V2.

[gildeluermoz]

PnX-SI/GeoNature@4d89bfa