Colección de herramientas y scripts que usan Inteligencia Artificial para mejorar la productividad de Data Engineers.
Demostrar cómo la IA puede complementar (no reemplazar) el trabajo de un Data Engineer, automatizando tareas repetitivas y acelerando el aprendizaje.
Este proyecto nace de la experiencia real trabajando con Azure Data Factory, SSIS, Power BI y SQL Server, identificando tareas donde la IA puede aportar valor inmediato.
- SSIS Documenter - Genera documentación automática de paquetes SSIS
- SQL Optimizer - Analiza y optimiza queries SQL
- Article Summarizer - Resume artículos técnicos de Azure, Power BI, etc.
- Code Explainer - Explica código complejo en lenguaje simple
- Prompt Templates - Biblioteca de prompts útiles para Data Engineers
- Workflow Automation - Automatización de tareas comunes
- ADF Pipeline Generator - Genera pipelines de Azure Data Factory desde lenguaje natural
- Power BI DAX Optimizer - Optimiza medidas DAX y mejora rendimiento
La forma más fácil de usar las herramientas es a través de la interfaz gráfica unificada.
# 1. Instalar dependencias
pip install -r requirements.txt
# 2. Configurar tu API Key en el archivo .env
# 3. Lanzar la aplicación
streamlit run app.py
# Si el comando anterior falla en Windows, prueba:
python -m streamlit run app.pySi prefieres usar scripts individuales o automatizar tareas:
# Clonar repositorio
git clone https://github.com/ChenchoDev/ia-data-engineering-tools.git
cd ia-data-engineering-tools
# Crear entorno virtual (recomendado)
python -m venv venv
# Windows: venv\Scripts\activate
# Mac/Linux: source venv/bin/activate
# Instalar dependencias
pip install -r requirements.txt
# Configurar API Key
cp .env.example .env
# Edita .env con tu clave# Ejemplo: Generar código Biml para SSIS
cd 01-automation/ssis-generator
python ssis_generator.py --prompt "Cargar tabla Clientes desde CSV a SQL"- Getting Started - Guía de inicio rápido
- Use Cases - Casos de uso reales
- Best Practices - Mejores prácticas al usar IA en Data Engineering
- ✅ Documentar pipelines ETL automáticamente
- ✅ Optimizar queries lentas
- ✅ Aprender nuevas tecnologías más rápido
- ✅ Generar código boilerplate
- ✅ Debugging asistido por IA
- ✅ Estandarizar documentación
- ✅ Onboarding más rápido
- ✅ Knowledge sharing
- ✅ Reducir deuda técnica
- Estructura del repositorio
- README principal
- Colección de prompts
- Documentación básica
- SQL Optimizer funcional
- SSIS Documenter
- Article Summarizer
- Tests unitarios
- ADF Pipeline Generator
- Power BI DAX Optimizer
- Integración con Azure DevOps
- CLI unificada
¡Las contribuciones son bienvenidas! Si tienes ideas para nuevas herramientas o mejoras:
- Fork el proyecto
- Crea una rama para tu feature (
git checkout -b feature/AmazingFeature) - Commit tus cambios (
git commit -m 'Add some AmazingFeature') - Push a la rama (
git push origin feature/AmazingFeature) - Abre un Pull Request
Ver CONTRIBUTING.md para más detalles.
Este proyecto está bajo la Licencia MIT - ver el archivo LICENSE para más detalles.
Chencho Marín
- 💼 LinkedIn: chencho-marin
- 🌐 Web: chenchomarin.com
- 📧 Email: contacto@chenchomarin.com
Este es un proyecto personal creado con fines educativos y de demostración. No incluye código propietario ni datos reales de clientes. Todos los ejemplos son genéricos y ficticios.
- A la comunidad de Data Engineering por compartir conocimiento
- A los creadores de las librerías open source utilizadas
- A todos los que contribuyen con feedback y mejoras
⭐ Si este proyecto te resulta útil, dale una estrella! ⭐
💡 ¿Tienes ideas para nuevas herramientas? Abre un issue y hablemos.