Skip to content

LocalAgent Benchmark v0.6.0

Choose a tag to compare

View all tags
@gloutchov gloutchov released this 09 Sep 10:33
· 63 commits to main since this release
v0.6.0
d303369

Italiano

Novità

  • Nuova dashboard ufficiale dei risultati, statica e completamente offline, servita localmente con python3 dashboard.py senza dipendenze runtime, CDN, telemetria o asset remoti.
  • Il launcher, basato soltanto sulla libreria standard, individua i run locali compatibili, genera il dataset pubblico in memoria e serve la dashboard esclusivamente su 127.0.0.1.
  • Panoramica, classifiche per profilo, funnel smoke → standard → full, confronto tra modelli e dettaglio delle task con score, tempi, token, stato e integrità.
  • Filtri, ordinamento, importazione manuale di dashboard-data.json, interfaccia italiana/inglese, tema chiaro/scuro, preferenze persistenti, layout responsive e navigazione da tastiera.
  • Lo snapshot può essere rigenerato localmente con python3 dashboard.py --refresh-snapshot, ma è un artefatto derivato ignorato da Git e non è distribuito nel repository.
  • Validazione privacy estesa anche ai campi annidati: al browser arrivano soltanto i campi ammessi da dashboard-data, senza prompt, risposte integrali, comandi, log, errori liberi, evidenze di violazione o path assoluti.

Verifica

  • python3 -m compileall -q benchmark.py src cases tests
  • 83 test unittest verdi; 10 probe dipendenti dal sistema operativo o dal loopback non applicabili nel sandbox della suite.
  • 8 test dedicati al launcher verdi senza skip quando il loopback è disponibile.
  • 7 test JavaScript verdi e tutti i 5 casi validati.
  • Verifica browser completata tramite server loopback e importazione manuale: caricamento, filtri, dettaglio task, import valido e invalido, lingua, tema, persistenza, tastiera e layout mobile.
  • CI verde su macOS, Ubuntu e Windows per branch, PR #4 e main, inclusa l'esecuzione finale 33983866513.

Piattaforme e limiti noti

  • La dashboard è progettata per macOS, Windows e Linux; la verifica browser manuale è stata eseguita con Chrome su macOS, mentre la suite automatica è coperta dalla CI multipiattaforma.
  • I risultati locali devono essere caricati con dashboard.py o tramite importazione manuale; lo snapshot generato localmente non è versionato.
  • dashboard.py espone un server HTTP solo sul loopback locale e richiede un browser; non pubblica la dashboard in rete.
  • Le directory results/ restano output locali potenzialmente sensibili e non sono incluse nella release.
  • La release distribuisce il repository sorgente. Non sono presenti artifact binari di progetto, quindi non si applicano checksum di artifact; GitHub genera automaticamente gli archivi sorgente.

English

Highlights

  • New official results dashboard: static, fully offline, and served locally with python3 dashboard.py, without runtime dependencies, CDNs, telemetry, or remote assets.
  • The standard-library-only launcher discovers compatible local runs, builds the public dataset in memory, and serves the dashboard exclusively on 127.0.0.1.
  • Overview, per-profile rankings, smoke → standard → full funnel, model comparison, and task details covering scores, duration, tokens, status, and integrity.
  • Filters, sorting, manual dashboard-data.json import, Italian/English UI, light/dark themes, persistent preferences, responsive layout, and keyboard navigation.
  • A snapshot can be regenerated locally with python3 dashboard.py --refresh-snapshot, but it is a derived artifact ignored by Git and is not distributed in the repository.
  • Nested fields are covered by privacy validation: the browser receives only the explicit dashboard-data whitelist, never full prompts or responses, commands, logs, free-form errors, violation evidence, or absolute paths.

Verification

  • python3 -m compileall -q benchmark.py src cases tests
  • 83 unittest tests passed; 10 operating-system or loopback probes were not applicable inside the suite sandbox.
  • 8 dedicated launcher tests passed without skips when loopback access was available.
  • 7 JavaScript tests passed and all 5 cases validated.
  • Browser verification covered the loopback server and manual import: loading, filters, task details, valid and invalid imports, language, theme, persistence, keyboard use, and mobile layout.
  • CI passed on macOS, Ubuntu, and Windows for the branch, PR #4, and main, including final run 33983866513.

Platforms and known limitations

  • The dashboard targets macOS, Windows, and Linux; manual browser QA used Chrome on macOS, while the automated suite is covered by cross-platform CI.
  • Local results must be loaded through dashboard.py or manual import; the locally generated snapshot is not versioned.
  • dashboard.py exposes an HTTP server only on local loopback and requires a browser; it does not publish the dashboard to the network.
  • results/ directories remain potentially sensitive local output and are not included in the release.
  • This release distributes the source repository. There are no project binary artifacts, so artifact checksums do not apply; GitHub automatically provides source archives.
Assets 2
Loading