Sistema de processamento automatizado de incidentes/logs utilizando Python, Regex e JSON.
O projeto simula um pipeline real de monitoramento e observabilidade, realizando:
- leitura de múltiplos arquivos
- parsing de logs
- extração de padrões
- classificação de severidade
- geração de saída estruturada
incident_batch_processor/
│
├── incidentes/
│ ├── incidentes1.txt
│ ├── incidentes2.txt
│
├── parser.py
├── main.py
└── README.md- Python
- Regex (re)
- JSON
- Manipulação de arquivos (os)
- Tratamento de exceções
| Conceito | Aplicação |
|---|---|
| Regex | Extração de padrões |
| Parsing | Interpretação de texto |
| JSON | Estruturação de saída |
| Exceções | Segurança do pipeline |
| Modularização | Separação de responsabilidades |
| Automação | Processamento em lote |
| Pipeline | Fluxo completo de dados |
- Dashboard com Streamlit
- Geração de métricas
- Integração com banco de dados
- Alertas automáticos
- API para ingestão de logs
- Testes automatizados
Simular um pipeline real de análise de incidentes utilizado em áreas como:
- Observabilidade
- SRE
- Engenharia de Dados
- Monitoramento
- Automação de infraestrutura
Projeto desenvolvido para prática de automação, parsing e processamento de incidentes em Python por Izabelli Ribeiro.