LocalAgent Benchmark v0.13.0

LocalAgent Benchmark v0.13.0

Italiano

Novità

• Oltre a Ollama, il benchmark supporta LM Studio 0.4+ e il router llama-server di llama.cpp per modelli locali. La scelta del provider si applica a CLI, percorso guidato, preflight, warmup e task.
• Il router llama.cpp viene interrogato fino alla conferma degli stati loaded e unloaded, evitando di avviare l'inferenza mentre un modello è ancora in caricamento o scaricamento.
• Il confronto tra run dei nuovi provider richiede provenienza compatibile: versione del runtime dichiarata e SHA-256 dei GGUF configurati.
• Il processo Pi su Windows viene terminato insieme ai figli quando scade il timeout. La landing e la guida ai provider locali sono aggiornate in italiano e inglese.

Verifiche e limiti

• Su macOS: 167 test Python superati con 5 skip ambientali, 17 test Node superati, compilazione Python e validazione dei sei casi. Landing verificata in browser su desktop e mobile, nelle due lingue e nei temi automatico, chiaro e scuro.
• CI della PR #10, del merge e del commit finale C13 verde su macOS, Windows e Ubuntu; landing pubblicata tramite GitHub Pages.
• LM Studio ha prodotto due modelli classificabili nello smoke guidato. Un percorso guidato llama.cpp ha completato smoke, standard e full con integrità e controllo thinking verificati. La riuscita tecnica del percorso non implica qualità dei modelli: Mistral 7B non ha raggiunto 60/100 in nessuna delle cinque task full; Gemma 4 è andato in timeout nello smoke.
• Non sono stati completati in questa sessione un funnel completo LM Studio, uno smoke reale dopo la correzione del timeout Pi su Windows o smoke reali dei nuovi provider su Windows e Linux.

Distribuzione

Questa release distribuisce il codice sorgente tramite gli archivi generati da GitHub. Non contiene installer, binari o pacchetti di progetto; non si applicano checksum di artifact binari. Per configurare i provider consultare la guida dedicata.

English

What's new

• The benchmark now supports LM Studio 0.4+ and the llama.cpp llama-server router alongside Ollama. The selected local provider is shared by the CLI, guided flow, preflight, warmup, and tasks.
• The llama.cpp adapter waits for confirmed loaded and unloaded states before continuing.
• Comparing runs from the new providers requires compatible provenance: a declared runtime version and SHA-256 digests of configured GGUF files.
• On Windows, Pi child processes are terminated when a task times out. The landing page and local provider guide are updated in Italian and English.

Validation and known limits

• On macOS, 167 Python tests passed with 5 environmental skips, 17 Node tests passed, Python compilation and six-case validation passed. The landing page was checked in a browser on desktop and mobile, in both languages and automatic, light, and dark themes.
• PR #10, post-merge, and final C13 CI passed on macOS, Windows, and Ubuntu; the landing page was deployed through GitHub Pages.
• LM Studio produced two rankable models in guided smoke. A llama.cpp guided run completed smoke, standard, and full with integrity and thinking control verified. This confirms the technical path, not model quality: Mistral 7B did not reach 60/100 on any of the five full tasks, and Gemma 4 timed out in smoke.
• A complete LM Studio funnel, a real Windows rerun after the Pi timeout fix, and real new-provider smoke runs on Windows and Linux were not completed in this session.

Distribution

This is a source release using GitHub-generated archives. It contains no project installer, executable, or package artifact, so binary artifact checksums do not apply. See the local provider guide for setup instructions.

LocalAgent Benchmark 0.12.1

Italiano

LocalAgent Benchmark 0.12.1 aggiorna l'azione GitHub actions/setup-node dalla versione 7.0.0 alla 7.1.0 nei workflow CI e Pages. L'azione resta fissata allo SHA ufficiale della release; non cambiano il runtime Python, la logica dei benchmark o la configurazione degli utenti.

La CI è stata verificata su macOS, Windows e Ubuntu; Pages è stato verificato dopo il merge della PR Dependabot #7. Restano i limiti operativi descritti nella release 0.12.0, compresa l'assenza di uno smoke Pi/Ollama reale su Linux.

Distribuzione solo sorgente, senza installer o binari di progetto. Gli archivi sorgente sono generati da GitHub; non ci sono artifact binari di progetto cui applicare checksum SHA-256.

English

LocalAgent Benchmark 0.12.1 updates the GitHub actions/setup-node action from 7.0.0 to 7.1.0 in the CI and Pages workflows. The action remains pinned to the official release SHA. The Python runtime, benchmark behavior, and user configuration are unchanged.

CI was verified on macOS, Windows, and Ubuntu; Pages was verified after Dependabot PR #7 was merged. The operational limitations described in release 0.12.0 remain, including the lack of a real Pi/Ollama smoke test on Linux.

Source-only distribution, with no project installers or binaries. GitHub generates source archives; there are no project binary artifacts requiring SHA-256 checksums.

LocalAgent Benchmark 0.12.0

Italiano

LocalAgent Benchmark 0.12.0 verifica all'avvio il contratto operativo della versione di Pi configurata, invece di richiedere esattamente Pi 0.85.1. doctor, i run da terminale e ogni fase del percorso guidato usano lo stesso controllo locale con server OpenAI-compatible sintetico. Se il controllo fallisce, la diagnostica indica il requisito non soddisfatto e suggerisce Pi 0.85.1 come riferimento verificato, senza installare o cambiare versioni automaticamente.

• Il percorso rapido offre toggle per thinking off/medium e sandbox audit/required, applicati a tutte le fasi.
• Il Dettaglio task della dashboard mostra anche i modelli esclusi per controllo thinking o violazioni d'integrità, separati dalle task eseguite e senza esportare eventi raw.
• L'audit v4 segue $PWD, $OLDPWD e cd nei comandi multilinea: i traversal confinati nello scratch interno restano validi, mentre gli accessi esterni continuano a escludere il modello.

Piattaforme: macOS, Windows e Linux dal checkout sorgente, con Python 3.10+, Ollama locale e Pi installato. La CI verifica le tre piattaforme; il probe reale di Pi 1.0.4 e Seatbelt required è stato eseguito su macOS. Pi 0.85.1 e gli smoke reali Windows/Linux con la nuova versione di Pi non erano disponibili su questo host. Il probe sintetico non garantisce che un modello/Ollama non produca errori di stream in task lunghe. Seatbelt macOS usa un'interfaccia Apple deprecata.

Distribuzione solo sorgente: nessun installer, wheel o binario di progetto. Gli archivi sorgente sono generati da GitHub; non ci sono artifact binari di progetto cui applicare checksum SHA-256. Risultati, eventi e reasoning raw restano locali; il controllo Pi usa solo dati sintetici e loopback, senza telemetria.

English

LocalAgent Benchmark 0.12.0 checks the configured Pi runtime's operational contract at startup instead of requiring exactly Pi 0.85.1. doctor, CLI runs, and each guided stage use the same local check against a synthetic OpenAI-compatible server. On failure, diagnostics identify the unmet requirement and suggest Pi 0.85.1 as a verified reference without installing or changing versions automatically.

• The quick path has thinking off/medium and sandbox audit/required toggles applied to every stage.
• Dashboard Task details also show models excluded by thinking control or integrity violations, separate from executed tasks and without exporting raw events.
• Audit v4 tracks $PWD, $OLDPWD, and cd in multiline shell commands: traversal confined to internal scratch remains valid, while external access still disqualifies a model.

Platforms: macOS, Windows, and Linux from the source checkout, requiring Python 3.10+, local Ollama, and Pi. CI covers all three platforms; the real Pi 1.0.4 contract probe and Seatbelt required check ran on macOS. Pi 0.85.1 and real Windows/Linux smokes with the updated Pi were unavailable on this host. The synthetic probe cannot guarantee that a model/Ollama will not produce stream errors during long tasks. macOS Seatbelt relies on a deprecated Apple interface.

Source-only distribution: no project installer, wheel, or binary. GitHub generates source archives; there are no project binary artifacts requiring SHA-256 checksums. Results, raw events, and reasoning remain local; the Pi check uses synthetic data and loopback only, with no telemetry.

LocalAgent Benchmark 0.11.1

Italiano

La versione 0.11.1 chiarisce i percorsi della landing page e rende più compatta la navigazione.

• “Percorso rapido” resta il funnel guidato automatico; “Full immersion” presenta invece l'uso avanzato da terminale delle singole fasi smoke, standard e full, incluse opzioni, casi personalizzati e finalissima showcase.
• La nuova sezione “Inizia” raccoglie prerequisiti e accessi al progetto.
• La documentazione pubblica mostra soltanto il manuale nella lingua attiva e i quick start dedicati.
• Il menu copre tutte le otto sezioni della landing e passa alla modalità compatta prima che le voci vadano a capo.
• Lingua e tema usano controlli grafici più piccoli, accessibili da tastiera e persistenti: ITA/ENG e automatico/sole/luna.
• Tipografia e colore delle etichette di sezione sono ora coerenti in tutta la pagina.

Distribuzione sorgente: sono richiesti Python 3.10+, Ollama locale e Pi 0.85.1. Non sono inclusi installer o binari di progetto, quindi non si applicano checksum di artifact. La suite CI è verde su macOS, Windows e Ubuntu. Questa patch non cambia rete, dati, storage o superfici operative: risultati e preferenze restano locali e non viene aggiunta telemetria.

English

Version 0.11.1 clarifies the landing-page paths and makes navigation more compact.

• “Quick path” remains the automatic guided funnel, while “Full immersion” presents advanced terminal use of the individual smoke, standard, and full stages, including options, custom cases, and the showcase final challenge.
• The new “Get started” section gathers prerequisites and project entry points.
• Public documentation now shows only the manual matching the active language and the dedicated quick starts.
• The menu covers all eight landing sections and switches to its compact layout before labels wrap.
• Language and theme now use smaller, keyboard-accessible, persistent graphical controls: ITA/ENG and automatic/sun/moon.
• Section-label typography and color are consistent throughout the page.

This is a source-only release requiring Python 3.10+, local Ollama, and Pi 0.85.1. No installers or project binaries are included, so artifact checksums do not apply. CI is green on macOS, Windows, and Ubuntu. This patch does not change networking, data, storage, or operational surfaces: results and preferences remain local, with no added telemetry.

LocalAgent Benchmark 0.11.0

Italiano

La versione 0.11.0 introduce il percorso guidato per eseguire il benchmark senza comporre comandi nel terminale.

• Rilevamento dei modelli Ollama locali e tabella ordinabile per nome, dimensione e supporto thinking.
• Funnel automatico smoke → standard → full, con promozione di massimo 4 e poi 2 modelli classificabili.
• Esclusione dei singoli modelli che falliscono senza interrompere i candidati validi.
• Apertura automatica della dashboard sui run prodotti e riapertura dei risultati completi o parziali.
• Launcher sorgente per macOS, Windows e Linux; landing page e documentazione bilingue aggiornate.
• La finalissima results_dashboard resta esclusa dal percorso guidato.

Distribuzione sorgente: sono richiesti Python 3.11+, Ollama locale e Pi 0.85.1. Non sono inclusi installer o binari firmati, quindi non si applicano checksum di artifact. Il funnel reale è stato verificato su macOS; la suite CI è verde su macOS, Windows e Ubuntu. Risultati e preferenze restano locali e non viene aggiunta telemetria.

English

Version 0.11.0 adds a guided path for running the benchmark without composing terminal commands.

• Local Ollama model discovery with sorting by name, size, and thinking support.
• Automatic smoke → standard → full funnel, promoting up to 4 and then 2 eligible models.
• Per-model failures are excluded without stopping valid candidates.
• Automatic dashboard opening for generated runs, including complete or partial result reopening.
• Source launchers for macOS, Windows, and Linux, plus an updated bilingual landing page and documentation.
• The results_dashboard final challenge remains outside the guided path.

This is a source-only release requiring Python 3.11+, local Ollama, and Pi 0.85.1. No signed installers or project binaries are included, so artifact checksums do not apply. The real funnel was verified on macOS, and CI is green on macOS, Windows, and Ubuntu. Results and preferences remain local, with no added telemetry.

LocalAgent Benchmark v0.9.0

Italiano

Novità

• Nuova Mappa di efficienza nella dashboard ufficiale con grafici qualità/durata e qualità/token.
• Assi orizzontali logaritmici, coorti separate per run e modalità thinking e nessuna classifica combinata implicita.
• Punti accessibili da tastiera, riepilogo hover/focus, stati di completamento e gestione delle metriche mancanti.
• Supporto verificato per italiano/inglese, tema chiaro/scuro, desktop e mobile, sempre offline e senza dipendenze runtime.

Verifica

• 106 test Python superati; 12 skip attesi dipendenti da sandbox o sistema operativo.
• 10 test JavaScript superati e 6 casi benchmark validati.
• CI verde su macOS, Ubuntu e Windows nella PR #3 e su main.
• Verifica Playwright verde a 1440x900 e 390x844, senza overflow, errori console o richieste remote.

Piattaforme e limiti

• Supporto: macOS, Windows e Linux.
• I run Pi/Ollama reali restano verificati su macOS e Windows; Linux è coperto dalla CI ma non ancora da uno smoke reale.
• Nessun artifact binario di progetto è pubblicato per questa release; non sono quindi applicabili checksum di artifact. GitHub fornisce automaticamente gli archivi sorgente.

English

Highlights

• New Efficiency map in the official dashboard with quality/duration and quality/token plots.
• Logarithmic horizontal axes, separate run/thinking cohorts, and no implicit combined ranking.
• Keyboard-accessible points, hover/focus summaries, completion states, and missing-metric handling.
• Verified Italian/English, light/dark, desktop/mobile behavior, fully offline and dependency-free at runtime.

Verification

• 106 Python tests passed; 12 expected sandbox or OS-dependent skips.
• 10 JavaScript tests passed and all 6 benchmark cases validated.
• CI passed on macOS, Ubuntu, and Windows for PR #3 and main.
• Playwright verification passed at 1440x900 and 390x844 with no overflow, console errors, or remote requests.

Platforms and limitations

• Supported: macOS, Windows, and Linux.
• Real Pi/Ollama runs remain verified on macOS and Windows; Linux is CI-covered but has not yet received a real smoke run.
• No project binary artifacts are published for this release, so artifact checksums do not apply. GitHub provides the automatic source archives.

LocalAgent Benchmark v0.8.0

Italiano

Novità

• Nuovo caso thinking_challenge: pianificazione esatta multi-vincolo con budget, rischio, capacità dei team, dipendenze, conflitti, categorie obbligatorie e tie-break deterministico.
• Nuovo profilo indipendente thinking; il caso entra anche in standard e full, mentre smoke e showcase restano invariati.
• Grader deterministico da 100 punti con scenari nascosti, baseline iniziale 5/100, controllo anti-hardcoding e soluzione generica calibrata a 100/100.
• Dashboard ed export separano classifiche e fattori per run e modalità thinking; thinking e showcase restano fuori dal funnel smoke → standard → full.
• Protocollo A/B simmetrico off/medium, senza fallback condizionali o retry selettivi.

Verifica

• Compileall completato; 106 test Python verdi con 12 skip ambientali motivati.
• 8 test JavaScript verdi e tutti i 6 casi validati.
• Verifica Playwright completata su desktop e mobile, temi chiaro/scuro, tastiera e sole richieste locali.
• Esperimento reale con Pi 0.85.1, Ollama 0.34.2 e qwen3.5:9b-mlx: tre ripetizioni medium e tre off, sandbox Seatbelt richiesta, integrità valida e zero retry.
• medium: punteggi 60/0/0, qualità media 20,0 e completion 33%; off: 22/0/10, qualità media 10,7 e completion 0%.
• CI verde su macOS, Ubuntu e Windows per PR #2 (35457236695) e main (35457439164).

Piattaforme e limiti noti

• Il runtime Python resta privo di dipendenze esterne e supporta macOS, Windows e Linux secondo i backend documentati.
• Tutte le task del campione reale hanno terminato per limite length; tre campioni per cella mostrano un vantaggio descrittivo per medium, ma non consentono inferenza statistica.
• I run in results/ sono output locali potenzialmente sensibili, ignorati da Git e non inclusi nella release.
• La release distribuisce il repository sorgente. Non esistono artifact binari di progetto, quindi non si applicano checksum di artifact; GitHub genera automaticamente gli archivi sorgente.

English

Highlights

• New thinking_challenge case: exact multi-constraint planning with budgets, risk, team capacities, dependencies, conflicts, required categories, and deterministic tie-breaking.
• New independent thinking profile; the case is also included in standard and full, while smoke and showcase remain unchanged.
• Deterministic 100-point grader with hidden scenarios, a 5/100 initial baseline, anti-hardcoding coverage, and a generic reference solution calibrated at 100/100.
• Dashboard and exports keep rankings and score factors separate by run and thinking mode; thinking and showcase stay outside the smoke → standard → full funnel.
• Symmetric off/medium A/B protocol without conditional fallbacks or selective retries.

Verification

• Compileall passed; 106 Python tests passed with 12 documented environment-dependent skips.
• 8 JavaScript tests passed and all 6 cases validated.
• Playwright verification covered desktop and mobile layouts, light/dark themes, keyboard operation, and local-only requests.
• Real experiment with Pi 0.85.1, Ollama 0.34.2, and qwen3.5:9b-mlx: three medium and three off repetitions, required Seatbelt sandbox, valid integrity, and zero retries.
• medium: scores 60/0/0, mean quality 20.0, completion 33%; off: 22/0/10, mean quality 10.7, completion 0%.
• CI passed on macOS, Ubuntu, and Windows for PR #2 (35457236695) and main (35457439164).

Platforms and known limitations

• The Python runtime remains dependency-free and supports macOS, Windows, and Linux according to the documented backends.
• Every task in the real sample stopped at the length limit; three samples per cell show a descriptive advantage for medium, but do not support statistical inference.
• Runs under results/ are potentially sensitive local output, ignored by Git and excluded from the release.
• This release distributes the source repository. There are no project binary artifacts, so artifact checksums do not apply; GitHub automatically provides source archives.

LocalAgent Benchmark v0.6.0

Italiano

Novità

• Nuova dashboard ufficiale dei risultati, statica e completamente offline, servita localmente con python3 dashboard.py senza dipendenze runtime, CDN, telemetria o asset remoti.
• Il launcher, basato soltanto sulla libreria standard, individua i run locali compatibili, genera il dataset pubblico in memoria e serve la dashboard esclusivamente su 127.0.0.1.
• Panoramica, classifiche per profilo, funnel smoke → standard → full, confronto tra modelli e dettaglio delle task con score, tempi, token, stato e integrità.
• Filtri, ordinamento, importazione manuale di dashboard-data.json, interfaccia italiana/inglese, tema chiaro/scuro, preferenze persistenti, layout responsive e navigazione da tastiera.
• Lo snapshot può essere rigenerato localmente con python3 dashboard.py --refresh-snapshot, ma è un artefatto derivato ignorato da Git e non è distribuito nel repository.
• Validazione privacy estesa anche ai campi annidati: al browser arrivano soltanto i campi ammessi da dashboard-data, senza prompt, risposte integrali, comandi, log, errori liberi, evidenze di violazione o path assoluti.

Verifica

• python3 -m compileall -q benchmark.py src cases tests
• 83 test unittest verdi; 10 probe dipendenti dal sistema operativo o dal loopback non applicabili nel sandbox della suite.
• 8 test dedicati al launcher verdi senza skip quando il loopback è disponibile.
• 7 test JavaScript verdi e tutti i 5 casi validati.
• Verifica browser completata tramite server loopback e importazione manuale: caricamento, filtri, dettaglio task, import valido e invalido, lingua, tema, persistenza, tastiera e layout mobile.
• CI verde su macOS, Ubuntu e Windows per branch, PR #4 e main, inclusa l'esecuzione finale 33983866513.

Piattaforme e limiti noti

• La dashboard è progettata per macOS, Windows e Linux; la verifica browser manuale è stata eseguita con Chrome su macOS, mentre la suite automatica è coperta dalla CI multipiattaforma.
• I risultati locali devono essere caricati con dashboard.py o tramite importazione manuale; lo snapshot generato localmente non è versionato.
• dashboard.py espone un server HTTP solo sul loopback locale e richiede un browser; non pubblica la dashboard in rete.
• Le directory results/ restano output locali potenzialmente sensibili e non sono incluse nella release.
• La release distribuisce il repository sorgente. Non sono presenti artifact binari di progetto, quindi non si applicano checksum di artifact; GitHub genera automaticamente gli archivi sorgente.

English

Highlights

• New official results dashboard: static, fully offline, and served locally with python3 dashboard.py, without runtime dependencies, CDNs, telemetry, or remote assets.
• The standard-library-only launcher discovers compatible local runs, builds the public dataset in memory, and serves the dashboard exclusively on 127.0.0.1.
• Overview, per-profile rankings, smoke → standard → full funnel, model comparison, and task details covering scores, duration, tokens, status, and integrity.
• Filters, sorting, manual dashboard-data.json import, Italian/English UI, light/dark themes, persistent preferences, responsive layout, and keyboard navigation.
• A snapshot can be regenerated locally with python3 dashboard.py --refresh-snapshot, but it is a derived artifact ignored by Git and is not distributed in the repository.
• Nested fields are covered by privacy validation: the browser receives only the explicit dashboard-data whitelist, never full prompts or responses, commands, logs, free-form errors, violation evidence, or absolute paths.

Verification

• python3 -m compileall -q benchmark.py src cases tests
• 83 unittest tests passed; 10 operating-system or loopback probes were not applicable inside the suite sandbox.
• 8 dedicated launcher tests passed without skips when loopback access was available.
• 7 JavaScript tests passed and all 5 cases validated.
• Browser verification covered the loopback server and manual import: loading, filters, task details, valid and invalid imports, language, theme, persistence, keyboard use, and mobile layout.
• CI passed on macOS, Ubuntu, and Windows for the branch, PR #4, and main, including final run 33983866513.

Platforms and known limitations

• The dashboard targets macOS, Windows, and Linux; manual browser QA used Chrome on macOS, while the automated suite is covered by cross-platform CI.
• Local results must be loaded through dashboard.py or manual import; the locally generated snapshot is not versioned.
• dashboard.py exposes an HTTP server only on local loopback and requires a browser; it does not publish the dashboard to the network.
• results/ directories remain potentially sensitive local output and are not included in the release.
• This release distributes the source repository. There are no project binary artifacts, so artifact checksums do not apply; GitHub automatically provides source archives.

LocalAgent Benchmark v0.5.0

Italiano

Novità

• Nuovo comando dashboard-data per aggregare run e report schema 2–3 in un dataset JSON statico, con whitelist dei campi, provenienza hashata, scrittura atomica e confinamento alla root del progetto.
• Nuovo caso results_dashboard e profilo showcase: dataset reale congelato e identico per tutti i finalisti, applicazione richiesta completamente offline in HTML/CSS/JavaScript, dataset alternativo nascosto nel grader e rubrica visuale separata dal punteggio tecnico.
• Funnel smoke → standard → full neutrale: not_run_in_next indica soltanto che un modello non è stato eseguito nel profilo successivo.
• Importazione estensibile di dataset compatibili e documentazione italiana/inglese del flusso completo, inclusa la procedura per congelare e committare il dataset.
• Gli errori terminali dell'agente o del provider vengono classificati pi_error anche quando Pi termina con codice zero, senza copiare testo libero sensibile nei metadata o nell'export dashboard.

Verifica

• python3 -m compileall -q benchmark.py src cases tests
• 72 test automatici verdi; 8 probe specifici di altri sistemi operativi non applicabili sull'host locale.
• Tutti i 5 casi validati con python3 benchmark.py case validate.
• CI verde su macOS, Ubuntu e Windows per branch, PR #3 e main.
• I run reali smoke, standard e full sono stati revisionati e congelati nella fixture. Due run reali showcase hanno usato lo stesso dataset; nel rerun l'integrità è valida, ma entrambi i finalisti restano a 20/100 senza modificare la baseline. Questi sono conservati come esiti negativi validi del benchmark, non come una dashboard completata.

Piattaforme e limiti noti

• I run Pi/Ollama reali sono stati verificati su macOS e Windows; Linux è coperto dalla CI ma non da un run Pi/Ollama reale.
• sandbox-exec su macOS usa un'interfaccia deprecata, pur con probe e limiti documentati.
• Questa esecuzione della finalissima non ha prodotto una dashboard candidata completata o un vincitore; l'infrastruttura del caso e il dataset restano validi e riutilizzabili.
• Le directory results/ sono output locali potenzialmente sensibili e non sono incluse nella release.
• La release distribuisce il repository sorgente. Non sono presenti artifact binari di progetto, quindi non si applicano checksum di artifact; GitHub genera automaticamente gli archivi sorgente.

English

Highlights

• New dashboard-data command aggregates schema 2–3 runs and reports into a static JSON dataset, using an explicit field whitelist, hashed provenance, atomic writes, and project-root confinement.
• New results_dashboard case and showcase profile: the same frozen real dataset for every finalist, a fully offline HTML/CSS/JavaScript deliverable, a hidden alternate grader dataset, and a visual rubric kept separate from the technical score.
• Neutral smoke → standard → full funnel: not_run_in_next only means that a model was not executed in the following profile.
• Extensible import of compatible datasets and complete Italian/English workflow documentation, including how to freeze and commit the dataset.
• Terminal agent or provider failures are classified as pi_error even when Pi exits with code zero, without copying sensitive free-form error text into metadata or dashboard exports.

Verification

• python3 -m compileall -q benchmark.py src cases tests
• 72 automated tests passed; 8 probes for other operating systems were not applicable on the local host.
• All 5 cases validated with python3 benchmark.py case validate.
• CI passed on macOS, Ubuntu, and Windows for the branch, PR #3, and main.
• Real smoke, standard, and full runs were reviewed and frozen into the fixture. Two real showcase runs used the same dataset; the rerun has valid integrity, but both finalists remained at 20/100 without changing the baseline. They are retained as valid negative benchmark outcomes, not as completed dashboards.

Platforms and known limitations

• Real Pi/Ollama runs were verified on macOS and Windows; Linux is covered by CI but not by a real Pi/Ollama run.
• macOS sandbox-exec relies on a deprecated interface, with probes and limitations documented.
• This final-round execution did not produce a completed dashboard candidate or winner; the case infrastructure and dataset remain valid and reusable.
• results/ directories are potentially sensitive local output and are not included in the release.
• This release distributes the source repository. There are no project binary artifacts, so artifact checksums do not apply; GitHub automatically provides source archives.

LocalAgent Benchmark v0.4.0

Italiano

Novità

• SDK estensibile per casi personali con discovery da cases/<id>/case.json.
• Comandi case create e case validate per generare, validare e calibrare nuovi casi senza modificare il core.
• Schema pubblico schemas/case.schema.json, titoli bilingui, categorie, pesi e rubriche manuali opzionali separate dallo score automatico.
• Preflight, snapshot e hash estesi a manifesti e rubriche, con compatibilità per configurazioni inline e risultati precedenti.
• Guida autore bilingue QUICK-START_Case-Author.md.

Verifica

• Compileall, 63 test automatici e calibrazione dei quattro casi completati con successo.
• CI verde su macOS, Windows e Ubuntu: run finali 33542311823, 33542444039 e 33542606245.
• Smoke Pi/Ollama reale 20260901-193330 su macOS con Seatbelt in modalità required: discovery dei manifesti e sandbox verificate end-to-end. Il tentativo del modello di usare /tmp è stato bloccato e ha correttamente escluso il modello dalla classifica.

Piattaforme e limiti noti

• Supporto: macOS, Windows e Linux.
• Gli smoke Pi/Ollama reali sono stati verificati su macOS e Windows; Linux resta coperto dalla CI ma non da uno smoke reale.
• sandbox-exec, usato dal backend macOS, è un'interfaccia deprecata.
• Il tool viene eseguito dal checkout sorgente. Non sono pubblicati artifact binari di progetto; pertanto non ci sono checksum SHA-256 di artifact caricati. Gli archivi sorgente standard sono generati automaticamente da GitHub.

English

Highlights

• Extensible personal-case SDK with discovery from cases/<id>/case.json.
• New case create and case validate commands to scaffold, validate, and calibrate cases without core changes.
• Public schemas/case.schema.json, bilingual titles, categories, weights, and optional manual rubrics kept separate from the automatic score.
• Preflight, snapshots, and hashes now include manifests and rubrics, while retaining compatibility with inline configurations and earlier results.
• Bilingual QUICK-START_Case-Author.md guide.

Verification

• Compileall, 63 automated tests, and calibration of all four bundled cases passed.
• CI passed on macOS, Windows, and Ubuntu in final runs 33542311823, 33542444039, and 33542606245.
• Real Pi/Ollama smoke run 20260901-193330 completed on macOS with Seatbelt in required mode, validating manifest discovery and enforced sandboxing end-to-end. The model's /tmp attempt was blocked and correctly disqualified it from ranking.

Platforms and known limitations

• Supported platforms: macOS, Windows, and Linux.
• Real Pi/Ollama smoke runs have been verified on macOS and Windows; Linux is CI-covered but has not received a real smoke run yet.
• The macOS backend relies on the deprecated sandbox-exec interface.
• The tool runs from a source checkout. No project binary artifacts are uploaded, so no uploaded-artifact SHA-256 checksums apply. Standard source archives are generated automatically by GitHub.