Modelli e prestazioni

Scelta del modello

Nell'interfaccia web il modello attivo è l'etichetta accanto al pulsante di invio, nel riquadro dei messaggi: cliccandola scegli tra i modelli presenti in llm/. Qualsiasi .gguf aggiunto alla cartella compare nella lista. Il cambio richiede qualche secondo di caricamento.

Modello	Velocità indicativa su questo Mac	Quando usarlo
Qwen3-1.7B	~15 token/s	domande veloci, compiti semplici
Qwen3-4B	~2-5 token/s	ragionamento e compiti complessi
Qwen2.5-Omni-3B	più lento dell'1.7B; primo caricamento ~1 min	immagini e audio

Prestazioni su poca RAM

Il server parte con questi parametri (in run_qwen_server.sh):

Parametro	Significato
--models-dir . --models-max 1	router mode, un solo modello in RAM alla volta
-ngl 0	solo CPU (evita contese con la GPU su Mac Intel/8 GB)
-c 4096	contesto di 4096 token (2048 se la RAM scarseggia)
-t 4	4 thread
--reasoning off --reasoning-budget 0	niente ragionamento di default
-fa on	Flash Attention: generazione ~40% più veloce nel benchmark
--cache-type-k/v q8_0	cache KV quantizzata: meno RAM, stessa velocità
--cache-ram 1024	limita a 1 GB la cache dei prompt (predefinito 8 GB)
--sleep-idle-seconds 600	scarica il modello dopo 10 minuti di inattività e libera la RAM
--no-mmproj-offload	il file di visione/audio resta sulla CPU (altrimenti Omni non si carica: cerca 4,3 GB sulla GPU)

Consigli:

• Chiudi le applicazioni pesanti (browser, IDE) prima di avviare.
• Per risposte più rapide usa il modello 1.7B e lascia il ragionamento spento.
• Se il contesto da 4096 token si riempie (conversazioni lunghe, immagini), apri una nuova chat.