Skip to content

LocalAgent Benchmark v0.4.0

Choose a tag to compare

View all tags
@gloutchov gloutchov released this 09 Sep 10:33
· 80 commits to main since this release
v0.4.0
0ca55de

Italiano

Novità

  • SDK estensibile per casi personali con discovery da cases/<id>/case.json.
  • Comandi case create e case validate per generare, validare e calibrare nuovi casi senza modificare il core.
  • Schema pubblico schemas/case.schema.json, titoli bilingui, categorie, pesi e rubriche manuali opzionali separate dallo score automatico.
  • Preflight, snapshot e hash estesi a manifesti e rubriche, con compatibilità per configurazioni inline e risultati precedenti.
  • Guida autore bilingue QUICK-START_Case-Author.md.

Verifica

  • Compileall, 63 test automatici e calibrazione dei quattro casi completati con successo.
  • CI verde su macOS, Windows e Ubuntu: run finali 33542311823, 33542444039 e 33542606245.
  • Smoke Pi/Ollama reale 20260901-193330 su macOS con Seatbelt in modalità required: discovery dei manifesti e sandbox verificate end-to-end. Il tentativo del modello di usare /tmp è stato bloccato e ha correttamente escluso il modello dalla classifica.

Piattaforme e limiti noti

  • Supporto: macOS, Windows e Linux.
  • Gli smoke Pi/Ollama reali sono stati verificati su macOS e Windows; Linux resta coperto dalla CI ma non da uno smoke reale.
  • sandbox-exec, usato dal backend macOS, è un'interfaccia deprecata.
  • Il tool viene eseguito dal checkout sorgente. Non sono pubblicati artifact binari di progetto; pertanto non ci sono checksum SHA-256 di artifact caricati. Gli archivi sorgente standard sono generati automaticamente da GitHub.

English

Highlights

  • Extensible personal-case SDK with discovery from cases/<id>/case.json.
  • New case create and case validate commands to scaffold, validate, and calibrate cases without core changes.
  • Public schemas/case.schema.json, bilingual titles, categories, weights, and optional manual rubrics kept separate from the automatic score.
  • Preflight, snapshots, and hashes now include manifests and rubrics, while retaining compatibility with inline configurations and earlier results.
  • Bilingual QUICK-START_Case-Author.md guide.

Verification

  • Compileall, 63 automated tests, and calibration of all four bundled cases passed.
  • CI passed on macOS, Windows, and Ubuntu in final runs 33542311823, 33542444039, and 33542606245.
  • Real Pi/Ollama smoke run 20260901-193330 completed on macOS with Seatbelt in required mode, validating manifest discovery and enforced sandboxing end-to-end. The model's /tmp attempt was blocked and correctly disqualified it from ranking.

Platforms and known limitations

  • Supported platforms: macOS, Windows, and Linux.
  • Real Pi/Ollama smoke runs have been verified on macOS and Windows; Linux is CI-covered but has not received a real smoke run yet.
  • The macOS backend relies on the deprecated sandbox-exec interface.
  • The tool runs from a source checkout. No project binary artifacts are uploaded, so no uploaded-artifact SHA-256 checksums apply. Standard source archives are generated automatically by GitHub.
Assets 2
Loading