AYORAI ATTRACTOR v0.7.0

AYORAI ATTRACTOR v0.7.0 — 2026-11-07

Primeira medição completa em benchmark internacional, com calibração pré-registrada.

Resultado registrado (LLM-AggreFact, partição DEV)

• 30.420 casos, 11 coortes, três modelos de terceiros (licença MIT): FactCG e MiniCheck com protocolos oficiais de referência; mDeBERTa com protocolo próprio do AYORAI. Execução em CPU fp32.
• FactCG selecionado em DEV-A pela regra pré-registrada: acurácia balanceada cross-fitted de 74,68% (média macro por dataset); ECE 0,0054; AUROC 0,8650.
• Camada de certificação seletiva (Learn then Test, DEV-B): 0/11 coortes certificadas pela regra registrada. A sequência parou no primeiro limiar inelegível; a emenda ao pré-registro fica para a próxima versão.
• Referência (outra partição): linha de base por regras com BA de 49,2% no TEST.

Relatório, proveniência e arquivos agregados: https://github.com/Ayorinha/ayorai-opensearch/tree/v0.7.0/reports/benchmarks/2026-11-07-dev-calibration-v2

Destaques técnicos

• Execução Phase 1b em shards, com artefatos cifrados (AES-GCM), aprovação do mantenedor e caminho de re-agregação sem nova inferência.
• Calibration V2: splits determinísticos, Venn-Abers (IVAP) com cross-fitting, certificação Learn then Test e seleção pré-registrada de um único modelo.
• API: rate limiting na autenticação, IDs de correlação gerados pelo servidor, acesso serializado ao armazenamento de auditoria.

Limites

Resultado DEV: não é avaliação TEST nem entrada de ranking. Nenhuma certificação estatística foi obtida. Ainda não há resultado de benchmark em português; o protocolo RGC continua não congelado.

Notas completas

https://github.com/Ayorinha/ayorai-opensearch/blob/v0.7.0/CHANGELOG.md

AYORAI ATTRACTOR v0.6.0

AYORAI ATTRACTOR v0.6.0 — 2026-10-23

Mudança incompatível: a autenticação por API key passa a ser obrigatória por padrão. A v0.5.0 não tinha autenticação.

Antes de atualizar, configure ATTRACTOR_API_KEY_PEPPER e ATTRACTOR_API_KEYS_HMAC_SHA256. O endpoint /health continua público.

Guia de autenticação: https://github.com/Ayorinha/ayorai-opensearch/blob/v0.6.0/docs/security/API-AUTH.md

Destaques

• Validação estrita de rótulos-ouro e documentos-fonte no executor RGC rgc-eval/0.7.0 — versão do executor, separada da versão global.
• Correções de extração e validação estrita do payload NLI.
• Build de sdist e wheel no CI com manifesto SHA-256.
• Documentação classificada em VIGENTE / HISTÓRICO.

Limites científicos

O protocolo RGC continua PROPOSTO. Nenhum caso RGC real foi avaliado e nenhuma métrica de benchmark foi produzida.

Notas completas

https://github.com/Ayorinha/ayorai-opensearch/blob/v0.6.0/docs/release/v0.6.0.md

SHA-256 dos artefatos

Hashes dos artefatos anexados à release, conforme os metadados do GitHub:

bc375060cdefcfcdba0a21c9255b1896d20c837d02502fb0f3073e4070fc1614  ayorai_opensearch-0.6.0.tar.gz
e9b453765c77103273b3d41465025476e29bbee1458d2addd28ef1c728b9466c  ayorai_opensearch-0.6.0-py3-none-any.whl

Nota: estes arquivos foram gerados na tentativa 2 da execução #2109 da CI, a partir do mesmo commit. A primeira versão desta descrição registrava outros hashes (040c4021… / 6486c8d5…), de uma compilação anterior cujos arquivos não foram anexados. O build não é reprodutível byte a byte, por isso os valores diferem. O SHA256SUMS.txt anexado lista os mesmos hashes acima.

DOI

DOI de conceito (todas as versões): https://doi.org/10.5281/zenodo.23125082

v0.5.0 — Phase 2: Judge 2.0

Phase 2 — Judge 2.0 (items 2.1–2.7): versioned rule contract, deterministic gates G1, G2 and E1–E3, atomic and composite rules, canonical output with rule trace, additive r2-a contract on /v1/verify (r1-a byte-identical), derived Golden r2 fixtures, canonical explanations and generated traceability. RFC 8785 canonicalization for input/output hashes.

Nothing is removed in v0.5.0: removal of ResponseStatus, the verification/confidence fields and the r1-a path is postponed to v0.6.0 (DEC-008).

Mandatory disclosure: Golden v0 and v0.1 results must be read side by side; v0.1 is not independent confirmatory evidence. No regulatory certification or automatic legal compliance is claimed. SHA-256 hashes identify content; they do not prove a claim is true.

Full release notes: docs/release/v0.5.0.md · Changelog: CHANGELOG.md

AYORAI ATTRACTOR v0.4.0

AYORAI ATTRACTOR v0.4.0

Author and technical lead: Anderson Leon Ayora · License: Apache-2.0

Resumo (PT-BR): esta versão encerra a Fase 1. O veredito factual passa a ter uma única autoridade, o Judge determinístico, garantida por testes de arquitetura. Também traz a trilha de auditoria com detecção de adulteração, erros de entrada estruturados (sem falhas 500) e uma cobertura de testes de 91%.

Highlights

• Single verdict authority: the deterministic Judge is the only component that issues a factual verdict. AST architecture tests block any other module from constructing or emitting a verdict.
• Tamper-evident audit trail: versioned SQLite audit schema with idempotent migration; GET /v1/audit/{trace_id} reports replay_integrity as valid or invalid.
• Clear contract boundary: search and audit responses state verdict_authority="not_adjudicated" and point to /v1/verify for formal verification.
• No server errors on bad input: invalid verification inputs return structured HTTP 422 (DUPLICATE_ID, DANGLING_REFERENCE, DUPLICATE_STANCE).
• Quality gates: 452 tests · 91% coverage · per-module coverage floors · zero resource warnings enforced in CI.

Removed

• VerificationStatus and EvidenceStore.status(). Use /v1/verify for factual verdicts.

Changed

• ResponsePolicy separates abstention from the factual Verdict. The OpenAPI schema of status was updated; the r1-a wire values are unchanged.
• Audit storage now uses schema v2 (legacy_verification, replay_version, replay_integrity). Existing databases migrate on open, and historical digests are never rewritten.

Fixed

• Structured HTTP 422 for invalid Judge inputs (previously HTTP 500).
• The exact-known-secret leak check now inspects real response objects, dataclasses and bytes, and rejects empty secrets.
• SQLite connections are closed correctly.

Deprecated (removal in v0.5.0)

• ResponseStatus, and the verification and confidence fields in search/audit responses.

Evaluation (development sets — always read side by side)

Path	Golden v0	Golden v0.1
A (EVAL_ONLY)	40.00%	76.67%
B	43.33%	66.67%
C	26.67%*	33.33%
Majority baseline	43.33%	43.33%

Golden v0.1 was rewritten after per-case results were observed and is not independent confirmatory evidence. On Golden v0, Path B equals the majority baseline.
* Historical E1 measurement; with the current rule code, Path C on Golden v0 is 23.33%.

Limitations

• Development sets only (52 synthetic en-US documents); not a production-generalization benchmark.
• The Judge 2.0 rule interpreter (ADR-009) is in development and not part of this release.
• No regulatory certification or legal compliance is claimed.

Full notes: docs/release/v0.4.0.md · Phase 1 evidence: docs/eval/PHASE-1-CLOSURE.md

baseline-legacy-v0 (referência histórica, não é versão do produto)

Marca o código histórico (commit 3be512b) que gerou as previsões congeladas em evals/baselines/legacy-v0 (PR #123). Medição histórica: run 36759101933. Equivalência 68/68 verificada contra 8e596f5. Não é uma versão do produto.

v0.3.0 — F1: multilingual stance

AYORAI ATTRACTOR v0.3.0 — F1: multilingual stance

Evidence-first, claim-level verification for AI answers. Models produce evidence; a deterministic Judge decides the verdict.

Highlights

• Multilingual stance analysis with lazy-loaded NLI (ADR-005)
• FACT numeric comparison rewritten, with adversarial regression tests
• Provenance fixes, including translated evidence
• Golden v0.1 frozen with pre-registration and disclosure
• E2 and E3 negative results published; E3 is manual only
• ADR-006 to ADR-008, including AYORAI-PT-NLI (in-house Portuguese model, proposed)
• New docs: investors, Brazilian regulatory context, step-by-step guide
• Pinned, hash-verified CI tooling

E1 results — Golden v0.1 (majority baseline 43.33%)

Path	Accuracy	Role
A	76.67% (p = 0.0002)	research only (EVAL_ONLY)
B	66.67% (p = 0.0085)	commercial candidate
C	33.33%	rules-only ablation

Measurement commit: aa11090800d9737a26875f78e4158405e7c6afd3

Limitations

• Golden v0/v0.1 are development sets.
• Current corpus: English documents with Portuguese claims. Portuguese-document performance will be measured on the hidden Golden v1.
• Not certified for production use; not legal advice.

Frozen artifacts (SHA-256)

• Golden v0: 2613aefccf232989833b80c0d23257e6e9f312e0f6b720801a0658407b2f1c75
• Golden v0.1: a7076512196c1ee9670478f036f7a3996fe89a483efad140ec7b985a54846fb9
• F1 thresholds: d64d233a3c31f83d09cfb59504ca8c580008fa8262dbe1d52dd6550afc6020cb

Full notes: docs/release/v0.3.0.md · 235 tests passing on Python 3.11–3.13

v0.2.0 — F0: claim-level verification pipeline stabilized

First archived release of AYORAI ATTRACTOR, an evidence-first, claim-level verification engine for LLM and agent outputs.

What this release contains:

• Claim-as-input contract: verify(claims, documents); claims are never derived from evidence (ADR-004).
• Three-state stance: SUPPORTS, CONTRADICTS, NEUTRAL (ADR-003).
• Deterministic six-state Judge; models only produce evidence (ADR-002).
• Abstention contracts for no-answer, out-of-scope and processing errors.
• Reproducible Golden v0 evaluation with bootstrap CI and McNemar test.

Measured baseline (Golden v0, seed 20261003, 10,000 bootstrap iterations):

• Accuracy: 8/30 = 26.7% (95% CI 13.3%–43.3%)
• Majority-class baseline: 43.3%
• Balanced accuracy: 44.0%
• Abstention contracts: 4/4

This is a stabilization release. The current rule-based stance detector does not yet beat the majority baseline; the next phase (F1) adds multilingual NLI for Portuguese and English. Numbers are reported as measured, without tuning.

Full evidence: docs/eval/P0C-RESULTS.md
Author: Anderson Leon Ayora. License: Apache-2.0.

v0.1.0 — Linha de Base da Fase 0

AYORAI ATTRACTOR — Linha de Base da Fase 0

Primeira versão formal do projeto, contendo a linha de base experimental da Fase 0 e os artefatos necessários para rastreabilidade e avaliação.

Esta versão registra o estado inicial do projeto antes da implementação do mecanismo de verificação da R1.