Connexion au moteur interrompue

[juanpa669]

Depuis les dernières mise à jour v8 j'ai souvent le chat qui plante, le serveur lui tourne, état stop processing mais pas de message d’erreur niveau serveur.

⚠️ Connexion au moteur (llama-server, port 8080) interrompue — il a peut-être redémarré. Réessaie.

août 08 17:06:57 cachyos-master ajean[6483]: 88.38.007.723 I slot launch_slot_: id  0 | task 25278 | processing task, is_child = 0
août 08 17:07:01 cachyos-master ajean[6483]: 88.41.889.026 I slot print_timing: id  0 | task 25278 | n_decoded =    100, tg =  31.54 t/s, tg_3s =  31.54 t/s
août 08 17:07:03 cachyos-master ajean[6483]: 88.43.747.445 I slot print_timing: id  0 | task 25278 | prompt eval time =     711.04 ms /   101 tokens (    7.04 ms per token,   142.04 tokens per second)
août 08 17:07:03 cachyos-master ajean[6483]: 88.43.747.448 I slot print_timing: id  0 | task 25278 |        eval time =    5028.56 ms /   168 tokens (   29.93 ms per token,    33.41 tokens per second)
août 08 17:07:03 cachyos-master ajean[6483]: 88.43.747.449 I slot print_timing: id  0 | task 25278 |       total time =    5739.61 ms /   269 tokens
août 08 17:07:03 cachyos-master ajean[6483]: 88.43.747.450 I slot print_timing: id  0 | task 25278 |    graphs reused =      24878
août 08 17:07:03 cachyos-master ajean[6483]: 88.43.747.941 I slot      release: id  0 | task 25278 | stop processing: n_tokens = 13790, truncated = 0

Ajean V0.8.3
Linux CachyOS

[juanpa669]

Alors c'est bizarre car cette sortie je l'ai eu que sur un model pour l'instant.
J'en ai testé deux autres depuis, je n'ai plus cette erreur mais quand même un stop processing.
L'agent commence sa réflexion puis commence le travail en cli et au bout de quelques commande s'arrête et rend la main sans avoir terminé, ni même commenté. Et dans ajean logs pareil que pour le premier post, un stop processing et pas de message d'erreur.

[nathaninline]

Merci pour le retour, et surtout pour ton deuxième message, c'est lui qui m'a mis sur la piste.

Il y a bien un bug, il est corrigé dans la 0.8.5.

Ton log est normal, et c'est justement ça l'indice : le stop processing que tu vois, c'est la fin de génération habituelle de llama.cpp. Le moteur a bien terminé. Le problème vient de chez moi.

AJEAN lit la réponse du moteur en flux. Ce flux s'arrête aussi bien quand tout est fini que quand la connexion casse, et je ne regardais jamais dans quel cas j'étais. Une coupure en plein milieu passait donc pour une réponse terminée, et le tour se refermait sans rien dire. C'est exactement ce que tu décris.

Pire : si la coupure tombait pendant que le modèle demandait un outil, l'appel à moitié reçu était quand même exécuté, avec des arguments tronqués.

Maintenant une coupure est annoncée avec sa cause, et le tour s'arrête au lieu de lancer un appel incomplet. Le texte déjà reçu reste affiché. Si c'est toi qui appuies sur stop, ça reste silencieux comme avant.

Par contre, autant être clair : ça rend la coupure visible, ça ne l'empêche pas. Je ne sais toujours pas pourquoi ta connexion casse.

C'est là que j'ai besoin de toi :

ajean update

puis relance ton agent. Si ça recommence, tu auras cette fois un message qui nomme l'erreur (« unexpected EOF », « connection reset »...). Colle-le ici avec le modèle que tu utilisais et je repars de là.

Tu disais que ça n'arrivait que sur un modèle, ça m'intéresse aussi : si le message revient, dis-moi lequel.