error en python al usar chat

[anibalardid]

En la interface web, los archivos se agregan bien, sin error.
Pero luego al querer chatear da error:

[anibalardid]

como borre el contenedor de docker y las imagenes al estar probando me olvide de ejecutar la instalacion de phi3 :)
docker exec 28cf32abee50 ollama pull phi3 ....

probando de nuevo

[anibalardid]

Archivos subidos correctamente

Web al poner hola en el char queda en Runing:

Logs:

PD: Es una MacBook con procesador M1 y 32gb de RAM
Estoy probando el modelo phi3

[anibalardid]

Tambien probe descargar el modelo de llama3, pero sigue igual (ya hice docker compose down y up de nuevo)
docker exec 28cf32abee50 ollama pull llama3

[anibalardid]

En el browser el request llama a "api.segment.io"

[fcori47]

buenas! proba hacer de nuevo el proceso (tipo elimina todo, hace el pull del modelo), porque eso que te tira ollama significa que esta cargando el modelo como "preparandose" para la respuesta, puede que este tardando mucho por algo relacionado a la pc (aunque me parece raro), cualquier cosa comentame por aca o por instagram que estoy mas activo por ahi: @facundocorengia asi lo podemos solucionar!

[anibalardid]

mil gracias facu, sabes que lo probe varias veces y borrando las imagenes de docker, volumen, todo de cero, pero nada.
Cuando probe localmente sin docker, otras apps con python y llama local en mi mac y corrieron de 10. Debe ser algo dentro de docker.
Voy a probar de cero nuevamente todo y te comento

[apprillabscom]

@anibalardid me podrías indicar con que versión de python instalada en tu mac te corrió el docker compose