Ressources communautaires : gestion du ménage

[fchabouis]

J'ai l'impression que la partie ménage des ressources communautaires ne fonctionne pas ces derniers temps. On se retrouve à avoir de nombreuses ressources communautaires crées par le PAN et qui ne sont pas supprimées lorsque les ressources officielles associées disparaissent.

Exemple :
https://transport.data.gouv.fr/datasets/offre-transport-st-malo/

[fchabouis]

En fait le ménage se fait depuis le projet https://github.com/etalab/gtfs_converter.

Il y a dans le dossier misc un fichier nommé cli_utils.py qui contient des fonctions de ménage des ressources communautaires que l'on peut lancer depuis son ordi. Je pensais que ce méange était fait automatiquement régulièrement, mais ça n'a pas l'air d'être le cas.

J'ai lancé une suppression des ressources communautaires en doublon à la main pour le moment.

[fchabouis]

En fait j'avais mal vu, le projet gtfs_converter a un fichier scheduler, qui lance une tache récurrente cleanup_old_resources via le package rq-scheduler et cron.

Sauf que visiblement ce cron ne fonctionne pas, ou ne fonctionnait plus. Je n'ai pas trouvé comment lister les taches actuellement schedulées de manière facile, donc pour le moment j'ai juste redemarré le docker-compose.

J'ai aussi vu dans une issue que la manière dont on lancer le scheduler à la main risque présente des risques de race conditions, c'est donc une partie qu'on va essayer de rapatrier dans Elixir.