Skip to content

LocalAgent Benchmark v0.5.0

Choose a tag to compare

View all tags
@gloutchov gloutchov released this 09 Sep 10:33
· 70 commits to main since this release
v0.5.0
b146aef

Italiano

Novità

  • Nuovo comando dashboard-data per aggregare run e report schema 2–3 in un dataset JSON statico, con whitelist dei campi, provenienza hashata, scrittura atomica e confinamento alla root del progetto.
  • Nuovo caso results_dashboard e profilo showcase: dataset reale congelato e identico per tutti i finalisti, applicazione richiesta completamente offline in HTML/CSS/JavaScript, dataset alternativo nascosto nel grader e rubrica visuale separata dal punteggio tecnico.
  • Funnel smoke → standard → full neutrale: not_run_in_next indica soltanto che un modello non è stato eseguito nel profilo successivo.
  • Importazione estensibile di dataset compatibili e documentazione italiana/inglese del flusso completo, inclusa la procedura per congelare e committare il dataset.
  • Gli errori terminali dell'agente o del provider vengono classificati pi_error anche quando Pi termina con codice zero, senza copiare testo libero sensibile nei metadata o nell'export dashboard.

Verifica

  • python3 -m compileall -q benchmark.py src cases tests
  • 72 test automatici verdi; 8 probe specifici di altri sistemi operativi non applicabili sull'host locale.
  • Tutti i 5 casi validati con python3 benchmark.py case validate.
  • CI verde su macOS, Ubuntu e Windows per branch, PR #3 e main.
  • I run reali smoke, standard e full sono stati revisionati e congelati nella fixture. Due run reali showcase hanno usato lo stesso dataset; nel rerun l'integrità è valida, ma entrambi i finalisti restano a 20/100 senza modificare la baseline. Questi sono conservati come esiti negativi validi del benchmark, non come una dashboard completata.

Piattaforme e limiti noti

  • I run Pi/Ollama reali sono stati verificati su macOS e Windows; Linux è coperto dalla CI ma non da un run Pi/Ollama reale.
  • sandbox-exec su macOS usa un'interfaccia deprecata, pur con probe e limiti documentati.
  • Questa esecuzione della finalissima non ha prodotto una dashboard candidata completata o un vincitore; l'infrastruttura del caso e il dataset restano validi e riutilizzabili.
  • Le directory results/ sono output locali potenzialmente sensibili e non sono incluse nella release.
  • La release distribuisce il repository sorgente. Non sono presenti artifact binari di progetto, quindi non si applicano checksum di artifact; GitHub genera automaticamente gli archivi sorgente.

English

Highlights

  • New dashboard-data command aggregates schema 2–3 runs and reports into a static JSON dataset, using an explicit field whitelist, hashed provenance, atomic writes, and project-root confinement.
  • New results_dashboard case and showcase profile: the same frozen real dataset for every finalist, a fully offline HTML/CSS/JavaScript deliverable, a hidden alternate grader dataset, and a visual rubric kept separate from the technical score.
  • Neutral smoke → standard → full funnel: not_run_in_next only means that a model was not executed in the following profile.
  • Extensible import of compatible datasets and complete Italian/English workflow documentation, including how to freeze and commit the dataset.
  • Terminal agent or provider failures are classified as pi_error even when Pi exits with code zero, without copying sensitive free-form error text into metadata or dashboard exports.

Verification

  • python3 -m compileall -q benchmark.py src cases tests
  • 72 automated tests passed; 8 probes for other operating systems were not applicable on the local host.
  • All 5 cases validated with python3 benchmark.py case validate.
  • CI passed on macOS, Ubuntu, and Windows for the branch, PR #3, and main.
  • Real smoke, standard, and full runs were reviewed and frozen into the fixture. Two real showcase runs used the same dataset; the rerun has valid integrity, but both finalists remained at 20/100 without changing the baseline. They are retained as valid negative benchmark outcomes, not as completed dashboards.

Platforms and known limitations

  • Real Pi/Ollama runs were verified on macOS and Windows; Linux is covered by CI but not by a real Pi/Ollama run.
  • macOS sandbox-exec relies on a deprecated interface, with probes and limitations documented.
  • This final-round execution did not produce a completed dashboard candidate or winner; the case infrastructure and dataset remain valid and reusable.
  • results/ directories are potentially sensitive local output and are not included in the release.
  • This release distributes the source repository. There are no project binary artifacts, so artifact checksums do not apply; GitHub automatically provides source archives.
Assets 2
Loading