Skip to content

Releases

v1.0.2 — correção de data com hora e de telefones com separadores incomuns

Choose a tag to compare

@danielmmf danielmmf released this 02 Nov 02:10

Correção sobre a v1.0.1. A v1.0.1 tinha dois defeitos; a v1.0.2 corrige os dois.

Defeito 1 — data com hora quebrava o fluxo. Uma mensagem como "recebi em 20/03/2026 10:00" era bloqueada (o cliente recebia a resposta de contingência), e "2026-03-25 10:00" era convertida em [PHONE_1]. Isso quebrava o fluxo de devolução, em que o cliente informa a data de recebimento.

Defeito 2 — telefones com :, / ou _ não eram tokenizados. "67:99812:3456", "67/99812/3456" e "67_99812_3456" iam em claro ao LLM (com / a mensagem era bloqueada, nos outros dois ia direto).

O que mudou

  • Só é telefone a sequência compatível com o formato brasileiro: DDD válido (lista da Anatel) e 8 ou 9 dígitos no agrupamento usual, com 55 ou +55 opcional e até 3 separadores quaisquer entre os grupos (espaço, ., -, _, :, /, ,, ;, |).
  • Datas, CEP, valores em R$, números de pedido e códigos de rastreio não são tokenizados nem bloqueados.
  • Sequências de dígitos não reconhecidas não bloqueiam mais: passam como estão. O bloqueio vale só para e-mail escrito por extenso (arroba, [at]).
  • 71 testes novos de regressão (368 no total), incluindo os 50 telefones do CSV oficial.

Verificação: make test (368), make bench (recall@5 0,8 e MRR 0,75) e o golden set com o LLM real (17/17 nas verificações automáticas, mesmas metas) não mostraram regressão. O golden set não tem casos com telefone nem data com hora, então ele não prova a melhora; a evidência são os testes de regressão e uma conferência real com um LLM.

Limitações novas, no README: telefone sem DDD ou em agrupamento atípico passa em claro; um número solto com formato de telefone válido seria tokenizado.

Agente, prompt, golden set, holdout, metas e métricas publicadas não mudaram. As tags v1.0, v1.0.1 e v1.0-mvp não foram alteradas.

v1.0.1 — make eval não falha por meta não atingida

Choose a tag to compare

@danielmmf danielmmf released this 02 Nov 01:46

Ajuste sobre a v1.0. Muda só o código de saída do runner de avaliação; o agente, o prompt, o golden set, o holdout, as metas e as métricas publicadas são exatamente os da v1.0.

O problema: a meta de acerto de ferramenta tem teto de 75% pelos rótulos dos casos 09, 10 e 14, então make eval saía com código 1 em toda execução e parecia quebrado para quem o rodava.

Mudança:

  • make eval roda a avaliação, imprime e grava o relatório com cada meta marcada como atingida ou não, e sai com 0. Só sai com erro em falha real de execução: sem chave (código 2), falha de infraestrutura como rede, 429 ou timeout (código 3, o relatório ainda é gravado) ou exceção.
  • make eval-strict mantém o comportamento anterior: sai com 1 se alguma meta não for atingida, para uso como gate. Com os rótulos atuais ele falha sempre, pelo teto de 75%.
  • Testes cobrem os dois modos, a falha de infraestrutura, a falta de configuração e os alvos do Makefile (297 testes).

README: Como rodar. A v1.0 e a v1.0-mvp não foram alteradas.

v1.0 — Agente de atendimento da Empório da Música

Choose a tag to compare

@danielmmf danielmmf released this 02 Nov 00:55

Entrega do agente de atendimento da Empório da Música (desafio técnico de AI Engineer, Artefact).

O que é: agente em Python que conversa pela CLI com um LLM real (deepseek-chat) usando function calling sobre 8 ferramentas (catálogo, preço e parcelas, horário, pedidos com verificação demonstrativa, devoluções, encaminhamento). Preços, parcelas e frete são calculados em Python; um validador heurístico confere os valores em R$ citados; o acesso a pedidos é decidido em Python.

Como rodar: make setup && make ingest && make test (sem chave, sem Docker e sem rede externa); make chat e make eval com o .env. Instruções, arquitetura, decisões e limitações no README.

Avaliação (resultados medidos, sem arredondar a favor):

  • 287 testes passando; busca: recall@5 0,8 e MRR 0,75 (10 consultas).
  • Golden set (17 casos): 17/17 nas verificações automáticas; acerto de ferramenta 75% (meta de 90% não atingida), que é o teto da métrica porque 3 casos não trazem o argumento obrigatório.
  • Validação independente (8 casos, uma execução, sem ajustes): 6/8; relatório original preservado, com leitura corrigida e reexecução pós-correção publicadas à parte.
  • 5 conversas reais em examples/. Todas as rodadas estão em evals/reports/.

Limitações principais: verificação por contato é demonstrativa (não é autenticação); as verificações automáticas são regex e não cobrem fatos em texto livre; o encaminhamento à equipe é só um registro interno, sem entrega real; há variação entre execuções do modelo; o provedor do LLM recebe as mensagens do cliente (contatos tokenizados), o que exigiria avaliação de LGPD em produção.

A tag v1.0-mvp (12ceae9) é o marco anterior e permanece inalterada.