Skip to content

v1.0 — Agente de atendimento da Empório da Música

Choose a tag to compare

@danielmmf danielmmf released this 02 Nov 00:55
· 3 commits to main since this release

Entrega do agente de atendimento da Empório da Música (desafio técnico de AI Engineer, Artefact).

O que é: agente em Python que conversa pela CLI com um LLM real (deepseek-chat) usando function calling sobre 8 ferramentas (catálogo, preço e parcelas, horário, pedidos com verificação demonstrativa, devoluções, encaminhamento). Preços, parcelas e frete são calculados em Python; um validador heurístico confere os valores em R$ citados; o acesso a pedidos é decidido em Python.

Como rodar: make setup && make ingest && make test (sem chave, sem Docker e sem rede externa); make chat e make eval com o .env. Instruções, arquitetura, decisões e limitações no README.

Avaliação (resultados medidos, sem arredondar a favor):

  • 287 testes passando; busca: recall@5 0,8 e MRR 0,75 (10 consultas).
  • Golden set (17 casos): 17/17 nas verificações automáticas; acerto de ferramenta 75% (meta de 90% não atingida), que é o teto da métrica porque 3 casos não trazem o argumento obrigatório.
  • Validação independente (8 casos, uma execução, sem ajustes): 6/8; relatório original preservado, com leitura corrigida e reexecução pós-correção publicadas à parte.
  • 5 conversas reais em examples/. Todas as rodadas estão em evals/reports/.

Limitações principais: verificação por contato é demonstrativa (não é autenticação); as verificações automáticas são regex e não cobrem fatos em texto livre; o encaminhamento à equipe é só um registro interno, sem entrega real; há variação entre execuções do modelo; o provedor do LLM recebe as mensagens do cliente (contatos tokenizados), o que exigiria avaliação de LGPD em produção.

A tag v1.0-mvp (12ceae9) é o marco anterior e permanece inalterada.