v0.1.0 · primeira release pública
Primeira medição de referência do benchmark, publicada sem alteração na abertura do repositório.
15.300 respostas · 17 modelos · rodada oficial-seca-2026-07 (modo seco)
Coletada em 15–16 de julho de 2026, por rotas diretas de provedor, Amazon Bedrock e Fireworks. Todas as respostas cruas, os julgamentos e os agregados estão no repositório, uma linha por resposta — o CI recalcula os agregados a partir dos brutos a cada push e reprova qualquer divergência.
- Metodologia:
METODOLOGIA.md - Composição exata da release:
RELEASES.md - Origem e reuso das respostas:
resultados/README.md
Sobre a numeração: o projeto segue em 0.x. Abrir o repositório não promoveu a versão — o 1.0.0 fica reservado para quando o protocolo estabilizar (D11). Enquanto isso, o banco de itens ainda pode receber correções, e a série de comparabilidade é expectativa, não compromisso.
Sobre o snapshot: a tag aponta para o repositório como ele estava em 16/jul/2026, quando a medição foi fechada e o repositório ainda era privado — por isso o README dela ainda descreve o projeto como em construção. Os arquivos de comunidade, as licenças consolidadas e a documentação de arquitetura vieram depois e estão no main. A tag não foi movida de propósito: reposicioná-la absorveria rodadas de smoke que não fazem parte desta release.