Skip to content

v1.0.1 — make eval não falha por meta não atingida

Choose a tag to compare

@danielmmf danielmmf released this 02 Nov 01:46
· 2 commits to main since this release

Ajuste sobre a v1.0. Muda só o código de saída do runner de avaliação; o agente, o prompt, o golden set, o holdout, as metas e as métricas publicadas são exatamente os da v1.0.

O problema: a meta de acerto de ferramenta tem teto de 75% pelos rótulos dos casos 09, 10 e 14, então make eval saía com código 1 em toda execução e parecia quebrado para quem o rodava.

Mudança:

  • make eval roda a avaliação, imprime e grava o relatório com cada meta marcada como atingida ou não, e sai com 0. Só sai com erro em falha real de execução: sem chave (código 2), falha de infraestrutura como rede, 429 ou timeout (código 3, o relatório ainda é gravado) ou exceção.
  • make eval-strict mantém o comportamento anterior: sai com 1 se alguma meta não for atingida, para uso como gate. Com os rótulos atuais ele falha sempre, pelo teto de 75%.
  • Testes cobrem os dois modos, a falha de infraestrutura, a falta de configuração e os alvos do Makefile (297 testes).

README: Como rodar. A v1.0 e a v1.0-mvp não foram alteradas.