TechniquePratique4 min de lecture
Lab 3 : détecter une dérive automatiquement
Établir une référence, provoquer tour à tour une dérive de données, de concept puis de pipeline, la repérer dans les tableaux de bord, comparer Grafana et Phoenix et rédiger un plan de réponse.
Pour : ingénieurs et SREPrérequis : Avoir réussi le lab 2 et lu le module 3 du parcours.
Durée : 1 h 30. Prérequis : lab 2 réussi, module 3.
Dans ce lab, vous jouez les trois situations du module 3 sur votre poste. Le pipeline RAG du lab 2 tourne d’abord normalement, pour établir une référence. Puis le script lui pose des questions hors sujet, lui fait citer une information devenue fausse et change en douce un de ses réglages. À chaque fois, il s’agit de voir la dérive apparaître dans les données, d’en trouver la cause et de décider quoi faire.
Le scénario
Section intitulée « Le scénario »Le script enchaîne quatre phases. Il publie sous son propre service, lab3-drift, en réutilisant le pipeline du lab 2. La règle de détection est simple : une phase est en dérive quand sa moyenne passe sous 0,6, le seuil commun à tous les labs.
| Phase | Ce qui se passe | Score suivi | Ordre de grandeur attendu |
|---|---|---|---|
| Référence | 5 questions dans le domaine, 3 répétitions | fidélité au contexte | au-dessus du seuil, vers 0,75 |
| Dérive de données | 5 questions hors domaine (cuisine, météo, sport), 2 répétitions | fidélité au contexte | nettement sous le seuil, vers 0,20 |
| Dérive de concept | 2 questions dont la réponse a changé dans la réalité, 3 répétitions | comparaison à la vérité terrain | proche de 0 tant que la base n’est pas mise à jour |
| Dérive de pipeline | top_k passe silencieusement de 5 à 1 | fidélité au contexte | sous le seuil, vers 0,45 |
Ces valeurs sont indicatives : elles varient selon le modèle et d’un lancement à l’autre. La fidélité du kit est un ratio de mots communs entre la réponse et le contexte récupéré, pas une mesure du sens. Elle suffit à montrer une rupture, pas à noter finement une réponse.
Étape 1 : lancer les quatre phases (10 min)
Section intitulée « Étape 1 : lancer les quatre phases (10 min) »cd app && python lab3_drift_detection.py# une seule phase, plusieurs passages :python lab3_drift_detection.py --phase data --repeat 2Étape 2 : visualiser la rupture (20 min)
Section intitulée « Étape 2 : visualiser la rupture (20 min) »Sur le tableau de bord Drift Detection, cherchez d’abord la chute du score au passage de la référence à la dérive de données. Repérez ensuite les événements de dérive émis (mttl_drift_events_total, un par phase en dérive), puis le tableau des clients en dérive (drift-tenant, score moyen sous 0,6 sur 15 min).
Pour la dérive de pipeline, ouvrez une trace : la cause, mttl.rag.top_k = 1, est visible dans les attributs du span de récupération. C’est l’intérêt d’avoir mis la configuration dans les spans.
Étape 3 : dérive de concept (30 min)
Section intitulée « Étape 3 : dérive de concept (30 min) »La phase concept compare les réponses à une vérité terrain, la bonne réponse connue (VERITE_TERRAIN dans le script). L’offre fictive coûte désormais 59 EUR et répond sous 2 heures, alors que la base dit encore 49 EUR et 4 heures. La fidélité au contexte reste haute, puisque le modèle répète fidèlement une base périmée. Seule la comparaison à la vérité terrain révèle la dérive.
- Modifiez
DOCSdanslab2_rag_pipeline.py(59 EUR, 2 heures). - Relancez
python lab3_drift_detection.py --phase concept: rien ne change, car les scripts ne réindexent jamais d’eux-mêmes. - Lancez
python lab2_rag_pipeline.py --reindex, puis la phaseconceptà nouveau : le score remonte.
Question à discuter : comment industrialiser cette détection ? Quelques pistes : versionner la base documentaire, reconstruire les embeddings, passer des tests de non-régression sur un jeu de référence.
Étape 4 : Grafana ou Phoenix (20 min)
Section intitulée « Étape 4 : Grafana ou Phoenix (20 min) »Les traces partent aussi vers Phoenix : le Collector les lui envoie par l’exportateur otlp/phoenix (port 4317 dans le réseau Docker, publié sur 4319 côté hôte). Ouvrez http://localhost:6006 et comparez les deux approches.
# otel/otel-collector-config.yaml (extrait)exporters: otlp/phoenix: endpoint: phoenix:4317 tls: insecure: trueservice: pipelines: traces: receivers: [otlp] processors: [resource/defaults, transform/genai_compat, batch] exporters: [otlp/tempo, otlp/phoenix]Grafana est fort sur les métriques, les alertes et l’astreinte : c’est l’outil pour détecter et alerter. Phoenix est fait pour explorer les conversations et les évaluer : c’est l’outil pour comprendre et qualifier. Je recommande de garder les deux. L’alerte part de Grafana, puis l’enquête sur les conversations concernées se fait dans Phoenix.
Étape 5 : plan de réponse (10 min)
Section intitulée « Étape 5 : plan de réponse (10 min) »Rédigez un plan court pour chaque type de dérive. Pour la dérive de données : qui prévenir et sous quel délai. Pour la dérive de concept : le processus de mise à jour de la base et sa fréquence. Pour la dérive de pipeline : les tests de non-régression et les portes de contrôle en intégration continue, qui bloquent un changement tant que les tests ne passent pas.
Ce que le lab a montré
Section intitulée « Ce que le lab a montré »| Notion | Ce que le lab montre |
|---|---|
| Détection statistique | moyenne mobile et seuil : suffisant pour démarrer |
| Étape suivante | KS, PSI, Wasserstein |
| Grafana et Phoenix | alerte opérationnelle d’un côté, exploration et évaluation de l’autre |
| Tri | toute alerte a un responsable et une procédure |
Révisé le 2 octobre 2026 : encadré sur l’état du kit, scores attendus présentés comme indicatifs, mesure de fidélité du kit expliquée, label client ajouté à la métrique de dérive, réindexation séparée dans l’option --reindex, configuration de l’export des traces vers Phoenix.