Blocage des diffs lors du traitement de très grosses relations

[phiphou]

Bonjour.

Le serveur de réplication semble planté. http://download.openstreetmap.fr/replication/europe/france/minute/state.txt est bloqué au 5 août 20h13, c'est normal ?

[Marc-marc-marc]

semble être entrain de se résorber avant même que je regarde http://munin.openstreetmap.fr/osm12.openstreetmap.fr/osm108.openstreetmap.fr/osm_replication_lag_osmbin.html
cause primaire inconnue.
il faudrait vraiement se faire une alerte automatique, genre en cas de lag > 4h, à la fois pour réagir + tôt et pour rechercher les causes récurrentes et inclure des actions automatiques pour certains d'entre eux.
autre suggestion : améliorer la gestion du lock pour ne sortir en erreur que si le lock a + de x min/heures.
parce que sinon, on en arrive à + de 7000 messages cron, ce qui noye l'info utile dans "le lock existe deja"

[Marc-marc-marc]

depuis hier 18h, nouveau coup de lag (maj en cours non planté). les problèmes de perf sont peut-être du à #125

[cquest]

Aucune idée de ce qui bloque, et malheureusement je ne connais vraiment pas ce qui tourne sur ce container (osmbin).

Container relancé, mais pas d'amélioration constatée, il va falloir attendre sur @jocelynj en prenne soin...

[jocelynj]

En fait, une grosse relation a été modifiée plusieurs fois - il s'agit d'une relation contenant tous les pays de l'Union Européenne. Le traitement n'est pas optimisé dans ce cas, et chaque génération de diff vérifie si cette relation est dans son poly ou pas.

C'est reparti maintenant:
http://munin.openstreetmap.fr/osm12.openstreetmap.fr/osm108.openstreetmap.fr/osm_replication_lag_osmbin.html

[frodrigo]

Tout le retard n'a pas été rattrapé et c'est reparti à la hausse.

[jocelynj]

La relation UE a encore changé sur le dernier diff en cours de traitement: <relation id="2668952" version="103" timestamp="2019-08-12T19:45:11Z" uid="3335899" user="GBAB" changeset="73281426"> J'ai commencé à tester des moyens d'accélérer ce genre de relation pour le futur, en stockant une info pour la relation compléte. Pour le moment, j'ai mis la liste de tous les nodes, mais ça ralentit le traitement. Peut-être que je devrais stocker le polygone engloblant, et considérer que si le polygone du pays est dans ce polygone engloblant, alors on garde la relation. Ça aurait comme effet de bord de conserver plus de relations que ce qu'on fait actuellement, et ces relations seront incomplètes.

[frodrigo]

J'ai repensé à ça, et il faut mettre les nœuds de la relation dans un r-tree pour accélérer le contrôle.

[jocelynj]

On a récupéré le retard: http://munin.openstreetmap.fr/osm12.openstreetmap.fr/osm108.openstreetmap.fr/osm_replication_lag_osmbin.html

Il reste toujours à trouver un moyen d'accélérer ce genre de grosses relations dans le futur.

[jocelynj]

J'ai mis un fix temporaire, en dumpant systématiquement dans tous les diffs générés les grosses relations modifiées: jocelynj/osm@f7d3275

Ça ne devrait pas avoir d'impact sur les extracts qui ne devraient pas avoir cette relation, parce que ces extracts n'auront alors aucun node/way/relation associé à cette relation, et ne pourront donc pas la placer sur la carte.