Eleger ferramenta para agregação de logs

[lucaslehnen]

Problema

Vou ter várias aplicações rodando no ambiente e quero que seja possível correlacionar logs de diversos componentes no meu ambiente quando precisar encontrar algum problema.

Proposta:

Testar algumas soluções de agregação além do Graylog que eu já conheço.
O Loki da Grafana parece uma boa, talvez até o cloud gratuito deles com retenção de 14 dias. https://grafana.com/products/cloud/pricing/

Um que é muito utilizado é a suíte ELK, acredito que é indispensável eu instalar e lidar um pouco com ela para pegar mais experiência.

Detalhes:

Eu tenho um pé atrás constante com o Elastic Search, porque os índices dele sempre me deram dor de cabeça. Não só a suíte ELK usa, mas o Graylog também. Não é uma solução fácil de manter. O Loki a princípio não faz uso do elastic search, provavelmente vai ser a escolha para o ambiente, preciso avaliar.

Tarefas

• Criar manifestos do ELK e simular uso, enviando logs do Linux, de aplicações, etc
• Criar manifestos do Loki, integrar ao Grafana e simular uso, enviando logs do Linux, de aplicações, etc
• Criar manifestos do Graylog e simular uso, enviando logs do Linux, de aplicações, etc
• Escolher uma das stacks para permanecer no cluster de raspberry. Se não for o ELK, colocar o ELK no cluster de VM para os testes mais apurados;