Fiz este programa para juntar num só lugar algumas ferramentas que me ajudam a resolver tarefas chatas e repetitivas com planilhas. A ideia é ter uma interface simples para poder, por exemplo, dividir uma tabela muito grande, limpar colunas bagunçadas ou comparar duas versões de um mesmo relatório sem precisar de escrever código.
- Python 3.10 ou superior.
- Para a aba "Preparador ETL", é preciso ter uma chave de API do Google Gemini.
Para quem usa Linux, o script install.sh tenta facilitar o processo, criando o ambiente virtual e um atalho no menu de aplicações.
# 1. Baixar o projeto
git clone [https://github.com/AndreBFarias/Python-Data-Toolkit.git](https://github.com/AndreBFarias/Python-Data-Toolkit.git)
cd Python-Data-Toolkit
# 2. (Opcional) Criar o ficheiro .env para a chave da API
cp .env.example .env
# E depois editar o ficheiro para colocar a sua chave
# nano .env
# 3. Executar o instalador
chmod +x install.sh
./install.sh
Depois disto, o "Data Toolkit" deve aparecer no seu menu de aplicações, e você pode fixá-lo na sua dock se quiser.
chmod +x uninstall.sh
./uninstall.sh
Cada aba é uma ferramenta para uma tarefa diferente:
-
Preparador ETL: Prepara uma tabela para ser importada num banco de dados, sugerindo o schema (formato das colunas) com a ajuda de IA.
-
Segmentador: Pega um ficheiro grande e o quebra em vários ficheiros menores.
-
Limpador: Ajuda a arrumar a casa: remove linhas duplicadas, espaços a mais, etc.
-
Anonimizador: Troca informações sensíveis (como nomes ou CPFs) por dados falsos, para proteger a privacidade.
-
Unificador: Junta vários ficheiros de uma pasta num só.
-
Analisador: Mostra um resumo rápido do seu ficheiro: quantas linhas, colunas, dados em falta, etc.
-
Comparador: Mostra o que mudou entre duas versões de uma mesma tabela.
-
Visualizador: Cria alguns gráficos simples para ter uma ideia visual dos seus dados.
-
Assistente dbt: Uma ajuda para automatizar a criação de documentação para modelos dbt.
Este projeto usa a licença GPLv3. Fique à vontade para usar, modificar e partilhar. Desde que tudo permaneça livre.