Ce dépôt contient un tutoriel d'initiation et une série d'exercices pratiques pour prendre en main Evidently AI, l'outil open-source de référence pour la validation de données et la surveillance des modèles de Machine Learning (MLOps) et d'agents IA (LLMOps).
Le dépôt est découpé en 5 exercices progressifs :
- Module 1 : Rapports Visuels & Dérive (Data Drift)
Générer et analyser des rapports HTML interactifs pour détecter la dérive des données et les anomalies de qualité. - Module 2 : Data Validation Gate
Automatiser les contrôles qualité dans un script Python pour bloquer un pipeline en cas d'anomalie. - Module 3 : Monitoring Continu (Production)
Simuler des flux de production quotidiens et suivre l'historique des performances à l'aide d'Evidently UI. - Module 4 : Évaluation d'un Agent RAG / LLM
Développer une Quality Gate automatisée pour évaluer la pertinence et les hallucinations d'un chatbot RAG. - Module 5 : Simulation Temps Réel (Bonus)
Mettre en place un dashboard interactif complet sur des données de production électrique simulées.
Ce projet utilise uv pour la gestion des dépendances.
- Installer les dépendances :
uv sync
- Lancer les exercices :
Rendez-vous dans le dossier de chaque exercice (ex.cd exercises/exercise_1) et suivez les instructions détaillées contenues dans le guide principal : Exercises_Evidently_AI.md. - Lancer la suite de tests (Module 4) :
uv run pytest