[POC] Implementação de Sistema de Logs e Observabilidade

[FernandoAlmeidaPinto]

Problema

Atualmente, não temos uma forma eficiente de capturar logs da aplicação com stack trace para identificar falhas e seus respectivos contextos. Para descobrir o que quebrou e onde, precisamos acessar manualmente o servidor e executar comandos dentro do contêiner, o que não é ideal.

Objetivo

Implementar um sistema de logs que capture automaticamente os erros críticos da aplicação e permita visualizá-los externamente, sem necessidade de acessar diretamente o servidor.

Requisitos

1. Captura de Logs Estruturados

   • Capturar logs com stack trace completos.
   • Padronizar logs para facilitar leitura e análise.

2. Persistência e Consulta

   • Armazenar logs externamente para consulta posterior.
   • Possibilitar filtros e buscas por período, erro ou nível de log.

3. Notificação de Erros

   • Enviar alertas quando falhas críticas forem detectadas.
   • Integrar com ferramentas como Slack, Discord, ou e-mail para notificações em tempo real.

4. Facilidade de Implementação

   • Preferencialmente utilizar soluções prontas e gratuitas, ou de baixo custo.
   • Se necessário, configurar um stack de observabilidade próprio (ex: ELK, Loki + Grafana).

Alternativas de Implementação

1. Serviços de Log e Monitoramento na Nuvem

• Sentry (Gratuito para pequenos volumes, foca em rastreamento de erros)
• Logtail (Logs centralizados com buscas avançadas)
• Datadog (Ferramenta completa de monitoramento, mas pode ter custo)

2. Stack de Observabilidade Própria

• ELK Stack (Elasticsearch, Logstash, Kibana)
• Loki + Grafana (Solução leve e eficiente para logs)

3. Captura e Exportação de Logs do PM2

• PM2 pode ser configurado para armazenar logs estruturados.
• Logs podem ser enviados para um bucket S3, banco de dados ou serviço externo.

Próximos Passos

1. Definir Ferramenta ou Stack a ser Testado

   • Levantar custos e limitações de cada alternativa.
   • Escolher um candidato para um teste inicial.

2. Criar um Ambiente de Testes

   • Configurar um ambiente separado para avaliar a solução.
   • Gerar erros propositais e analisar os logs capturados.

3. Avaliação e Decisão Final

   • Analisar viabilidade e custo-benefício da solução escolhida.
   • Definir se seguimos com a implementação definitiva.

Conclusão

Este documento serve como base para explorarmos a melhor abordagem para capturar e monitorar logs da aplicação de forma eficiente e acessível. Assim que tivermos resultados dos testes iniciais, poderemos tomar uma decisão informada sobre a implementação final.

[RafaelFantinel]

Fiz uma breve analise das 3 opções, acredito a melhor opção seria LogTail, levado em conta maior foco em logs, e com melhor plano Free.

Logtail (Melhor para logs com plano grátis)

• Plano Free: Inclui 1 GB/mês de ingestão de logs.
• Boa integração com NestJS via HTTP ou Winston.
• Query (SQL-like) para analisar logs.
• Suporte nativo para JSON estruturado (bom para logs do NestJS).
• Limite de armazenamento: 3 dias de retenção.

---

Sentry

• Plano Free: Inclui 5.000 eventos/mês.
• Inclui tracing básico
• Não é ideal para logs extensivos,

---

Datadog

Acredito ser a opção mais completa e robusta, mas plano free não é tão bom quanto os demais.

• Plano Free: Logs só na versão de teste grátis (após isso, pago).
• Ferramenta muito completa (monitoramento, métricas, tracing).
• Sem logs no plano free, apenas métricas e monitoramento.

[FernandoAlmeidaPinto]

@RafaelFantinel, a gente chegou fazer umas conversas e estudos anteriormente e chegamos que o grafana era a melhor opção em comparação a outros planos.
Você chegou a dar uma olhada?

Eu cheguei analisar o LogTail com o Grafana e me pareceu que o grafana é mais promissor.
o plano gratuito é 50GB/mês e 15 dias de retenção.

[RafaelFantinel]

Boa, não comparei com o Graphana, apenas com os 3 listados