LocalAgent Benchmark v0.13.0

LocalAgent Benchmark v0.13.0

Italiano

Novità

• Oltre a Ollama, il benchmark supporta LM Studio 0.4+ e il router llama-server di llama.cpp per modelli locali. La scelta del provider si applica a CLI, percorso guidato, preflight, warmup e task.
• Il router llama.cpp viene interrogato fino alla conferma degli stati loaded e unloaded, evitando di avviare l'inferenza mentre un modello è ancora in caricamento o scaricamento.
• Il confronto tra run dei nuovi provider richiede provenienza compatibile: versione del runtime dichiarata e SHA-256 dei GGUF configurati.
• Il processo Pi su Windows viene terminato insieme ai figli quando scade il timeout. La landing e la guida ai provider locali sono aggiornate in italiano e inglese.

Verifiche e limiti

• Su macOS: 167 test Python superati con 5 skip ambientali, 17 test Node superati, compilazione Python e validazione dei sei casi. Landing verificata in browser su desktop e mobile, nelle due lingue e nei temi automatico, chiaro e scuro.
• CI della PR #10, del merge e del commit finale C13 verde su macOS, Windows e Ubuntu; landing pubblicata tramite GitHub Pages.
• LM Studio ha prodotto due modelli classificabili nello smoke guidato. Un percorso guidato llama.cpp ha completato smoke, standard e full con integrità e controllo thinking verificati. La riuscita tecnica del percorso non implica qualità dei modelli: Mistral 7B non ha raggiunto 60/100 in nessuna delle cinque task full; Gemma 4 è andato in timeout nello smoke.
• Non sono stati completati in questa sessione un funnel completo LM Studio, uno smoke reale dopo la correzione del timeout Pi su Windows o smoke reali dei nuovi provider su Windows e Linux.

Distribuzione

Questa release distribuisce il codice sorgente tramite gli archivi generati da GitHub. Non contiene installer, binari o pacchetti di progetto; non si applicano checksum di artifact binari. Per configurare i provider consultare la guida dedicata.

English

What's new

• The benchmark now supports LM Studio 0.4+ and the llama.cpp llama-server router alongside Ollama. The selected local provider is shared by the CLI, guided flow, preflight, warmup, and tasks.
• The llama.cpp adapter waits for confirmed loaded and unloaded states before continuing.
• Comparing runs from the new providers requires compatible provenance: a declared runtime version and SHA-256 digests of configured GGUF files.
• On Windows, Pi child processes are terminated when a task times out. The landing page and local provider guide are updated in Italian and English.

Validation and known limits

• On macOS, 167 Python tests passed with 5 environmental skips, 17 Node tests passed, Python compilation and six-case validation passed. The landing page was checked in a browser on desktop and mobile, in both languages and automatic, light, and dark themes.
• PR #10, post-merge, and final C13 CI passed on macOS, Windows, and Ubuntu; the landing page was deployed through GitHub Pages.
• LM Studio produced two rankable models in guided smoke. A llama.cpp guided run completed smoke, standard, and full with integrity and thinking control verified. This confirms the technical path, not model quality: Mistral 7B did not reach 60/100 on any of the five full tasks, and Gemma 4 timed out in smoke.
• A complete LM Studio funnel, a real Windows rerun after the Pi timeout fix, and real new-provider smoke runs on Windows and Linux were not completed in this session.

Distribution

This is a source release using GitHub-generated archives. It contains no project installer, executable, or package artifact, so binary artifact checksums do not apply. See the local provider guide for setup instructions.