osm108 / sature et lag osmosis

[Marc-marc-marc]

nettoyage effectué :
~170000 répertoire /tmp/tmp contenant chacun ce genre de chose
-rw-r--r-- 1 www-data www-data 25617 jui 30 17:08 fontList.cache
drwxr-xr-x 2 www-data www-data 4096 jui 30 17:08 tex.cache
cela semble être créé par /data/project/osmbin/osm/osc_modif/update.py
ligne 229 sans être effacé après usage.
j'ai ajouté dans le crontab user osmbin : rm -rf /tmp/tmp????*

lag depuis 29/07 ~18h
trouvé dans les rapports de cron :
Date: Fri, 29 Jun 2018 22:01:06 +0200 (CEST)
Traceback (most recent call last):
File "./update.py", line 316, in
update(wanted_end_sequence)
File "./update.py", line 188, in update
lock.acquire(timeout=0)
File "/usr/lib/pymodules/python2.7/lockfile.py", line 263, in acquire
raise AlreadyLocked
lockfile.AlreadyLocked

[Marc-marc-marc]

le rm dans le cron ne va pas car les fichiers sont écrit avec un autre utilisateur -> fait à la main et viré du cron en attendant de faire mieux

processus update.py bloqué en mémoire depuis hier -> tué
dans /data/work/osmbin/replication fichier vide osm108.MainThread-24260 update.lock.lock d'hier -> effacé
le lag est entrain de se résorber

$ find /data/work/osmbin/extracts -type f | grep replication-2017 | wc -l
260508
-> nettoyé

[jocelynj]

Les fichiers que tu vois dans /tmp ressemblent plutôt à des fichiers créés par la génération d'image via ce site web: http://polygons.openstreetmap.fr/.

Bizarre que le process ait planté. J'espère que ce n'est pas dû à l'ajout de l'Italie et de l'Indonésie.

[Marc-marc-marc]

pour mémoire de la discussion irc :
le répertoire temporaire est créé par https://github.com/jocelynj/osm-polygons-generation/blob/master/website/get_image.py
un bot semble abuser du service

[jocelynj]

Je viens de supprimer 9000 dossier dans /tmp/ sur osm108.

[Marc-marc-marc]

rajouté dans le cron root en attendant mieux
0 * * * * find /tmp/ -type d -name "tmp????*" -ls -exec rm -rf {} + >/dev/null 2>&1

[frodrigo]

Le service est OFF, on peut fermer ?

[Marc-marc-marc]

polygons fonctionne pourtant :-) l'impact infrastructure est contourné avec le cron ci-dessus, j'ai ouvert un ticket applicatif si @jocelynj souhaite le corriger