Skip to content

LocalAgent Benchmark 0.12.0

Choose a tag to compare

View all tags
@gloutchov gloutchov released this 17 Oct 19:54
· 5 commits to main since this release
v0.12.0
22712da

Italiano

LocalAgent Benchmark 0.12.0 verifica all'avvio il contratto operativo della versione di Pi configurata, invece di richiedere esattamente Pi 0.85.1. doctor, i run da terminale e ogni fase del percorso guidato usano lo stesso controllo locale con server OpenAI-compatible sintetico. Se il controllo fallisce, la diagnostica indica il requisito non soddisfatto e suggerisce Pi 0.85.1 come riferimento verificato, senza installare o cambiare versioni automaticamente.

  • Il percorso rapido offre toggle per thinking off/medium e sandbox audit/required, applicati a tutte le fasi.
  • Il Dettaglio task della dashboard mostra anche i modelli esclusi per controllo thinking o violazioni d'integrità, separati dalle task eseguite e senza esportare eventi raw.
  • L'audit v4 segue $PWD, $OLDPWD e cd nei comandi multilinea: i traversal confinati nello scratch interno restano validi, mentre gli accessi esterni continuano a escludere il modello.

Piattaforme: macOS, Windows e Linux dal checkout sorgente, con Python 3.10+, Ollama locale e Pi installato. La CI verifica le tre piattaforme; il probe reale di Pi 1.0.4 e Seatbelt required è stato eseguito su macOS. Pi 0.85.1 e gli smoke reali Windows/Linux con la nuova versione di Pi non erano disponibili su questo host. Il probe sintetico non garantisce che un modello/Ollama non produca errori di stream in task lunghe. Seatbelt macOS usa un'interfaccia Apple deprecata.

Distribuzione solo sorgente: nessun installer, wheel o binario di progetto. Gli archivi sorgente sono generati da GitHub; non ci sono artifact binari di progetto cui applicare checksum SHA-256. Risultati, eventi e reasoning raw restano locali; il controllo Pi usa solo dati sintetici e loopback, senza telemetria.

English

LocalAgent Benchmark 0.12.0 checks the configured Pi runtime's operational contract at startup instead of requiring exactly Pi 0.85.1. doctor, CLI runs, and each guided stage use the same local check against a synthetic OpenAI-compatible server. On failure, diagnostics identify the unmet requirement and suggest Pi 0.85.1 as a verified reference without installing or changing versions automatically.

  • The quick path has thinking off/medium and sandbox audit/required toggles applied to every stage.
  • Dashboard Task details also show models excluded by thinking control or integrity violations, separate from executed tasks and without exporting raw events.
  • Audit v4 tracks $PWD, $OLDPWD, and cd in multiline shell commands: traversal confined to internal scratch remains valid, while external access still disqualifies a model.

Platforms: macOS, Windows, and Linux from the source checkout, requiring Python 3.10+, local Ollama, and Pi. CI covers all three platforms; the real Pi 1.0.4 contract probe and Seatbelt required check ran on macOS. Pi 0.85.1 and real Windows/Linux smokes with the updated Pi were unavailable on this host. The synthetic probe cannot guarantee that a model/Ollama will not produce stream errors during long tasks. macOS Seatbelt relies on a deprecated Apple interface.

Source-only distribution: no project installer, wheel, or binary. GitHub generates source archives; there are no project binary artifacts requiring SHA-256 checksums. Results, raw events, and reasoning remain local; the Pi check uses synthetic data and loopback only, with no telemetry.

Assets 2
Loading