TechniquePratique5 min de lecture
Module 3 : les trois dérives
Un modèle en production se dégrade de trois façons : les questions changent, la réalité change ou un composant change. Pour chacune, les causes, des exemples, des indicateurs reproductibles et des seuils d'alerte.
Pour : ingénieurs et SREPrérequis : Avoir suivi le lab 2 du parcours sur le pipeline RAG.
Reprenons l’assistant RH de la présentation (scénario illustratif). Au lancement, il répond bien aux questions sur les congés. Six mois plus tard, la qualité a baissé et les serveurs n’ont rien vu. En cherchant, l’équipe trouve trois explications possibles. Les salariés posent désormais beaucoup de questions sur la mobilité interne, un sujet absent de la base documentaire. La convention collective a changé au printemps, mais la base cite toujours l’ancienne version. Un développeur a modifié un réglage de la recherche lors d’un nettoyage de code.
Ce sont les trois dérives que traite ce module. Toutes sont silencieuses et invisibles depuis la supervision d’infrastructure.
Données, concept, pipeline
Section intitulée « Données, concept, pipeline »La dérive des données, c’est une boutique dont les clients se mettent à demander des produits qu’elle ne vend pas. Les utilisateurs posent des questions différentes de celles pour lesquelles le système a été conçu : un assistant RH pensé pour les congés reçoit des questions sur la mobilité interne.
La dérive de concept, c’est une carte routière qui n’a pas suivi les travaux. La réalité extérieure a changé sans que le système le sache : la convention collective évolue et l’assistant cite toujours l’ancienne version.
La dérive de pipeline, c’est une recette dont quelqu’un a changé une quantité sans prévenir. Un composant a été modifié sans test : top_k, le nombre de fragments de documents récupérés, passe de 5 à 1 lors d’un nettoyage de code et le contexte devient insuffisant.
Cette dernière ne vient pas seulement de votre équipe. Quand vous appelez un LLM par API, le fournisseur peut changer le modèle servi derrière un même nom ou un même alias, sans que votre code bouge : c’est aussi une dérive de pipeline. Pour la voir, consignez dans chaque span le modèle demandé (gen_ai.request.model) et le modèle effectivement renvoyé par le fournisseur (gen_ai.response.model), ainsi que la version du gabarit de prompt et les réglages de découpage du RAG.
De la cause au signal qui la révèle, puis à la réponse qui lui correspond :
flowchart LR C1["Données<br/>les questions changent"] --> S1["Distribution des intentions,<br/>volume hors domaine"] --> A1["Étendre la base documentaire<br/>et le jeu de référence"] C2["Concept<br/>la réalité change"] --> S2["Fidélité contre vérité terrain,<br/>retours négatifs"] --> A2["Mettre à jour les sources<br/>et réindexer"] C3["Pipeline<br/>un composant change"] --> S3["Attributs de span,<br/>latence par étape"] --> A3["Revenir sur le changement<br/>et le tester"]
À mon avis, la dérive de pipeline est la plus simple à diagnostiquer, à condition d’avoir instrumenté la configuration du pipeline dans les spans : on en trouve la cause dans la trace elle-même, sans avoir à analyser les questions des utilisateurs.
Correspondance des termes
Section intitulée « Correspondance des termes »Ce module est la référence du site pour la classification des dérives : le glossaire du guide et les autres contenus s’y alignent. Vous croiserez ailleurs d’autres termes, souvent anglais. Voici où ils se rangent dans les trois familles :
| Terme rencontré | Famille canonique |
|---|---|
| dérive des entrées, covariate shift, dérive des plongements (détection) | données |
| prior shift (la distribution des étiquettes change) | données |
| virtual drift (la distribution des entrées change sans changer la relation entre entrée et sortie) | données |
| dérive conceptuelle, concept drift | concept |
| changement silencieux du fournisseur ou du modèle, du gabarit de prompt, du découpage RAG | pipeline |
| dérive des sorties | ce n’est pas une famille : c’est le symptôme que révèlent les évaluations, dont la cause est une dérive de données, de concept ou de pipeline |
Des indicateurs reproductibles
Section intitulée « Des indicateurs reproductibles »Pour chaque famille, il existe des mesures qu’on peut recalculer de la même façon chaque semaine. Quelques termes du tableau d’abord. Les plongements (embeddings) sont les vecteurs de nombres qui résument le sens de chaque question. Le PSI (population stability index) et le test de Kolmogorov-Smirnov (KS) comparent deux distributions : celle des questions d’aujourd’hui et celle d’une période de référence. La vérité terrain est la bonne réponse, connue et vérifiée, à laquelle on compare celle du modèle.
| Dérive | Indicateur | Méthode | Déclencheur |
|---|---|---|---|
| Données | distribution des intentions | PSI ou Kolmogorov-Smirnov sur les embeddings | PSI ou statistique KS au-dessus d’un seuil calibré sur une période de référence |
| Données | volume hors domaine | classifieur d’intention ou similarité avec la base | plus de 15 % du trafic hors domaine |
| Concept | fidélité contre vérité terrain | LLM juge sur un échantillon | chute de plus de 10 points |
| Concept | retours négatifs | pouce bas explicite ou abandon | plus de 5 % sur 24 h |
| Pipeline | distribution des attributs de span | histogramme de top_k, du nom de modèle | apparition d’une valeur nouvelle |
| Pipeline | latence par étape | histogramme glissant sur 7 jours | variation de plus de 30 % inexpliquée |
Ces seuils sont des points de départ illustratifs, non tirés d’une étude : recalibrez-les sur votre propre trafic après quelques semaines. Le 0,6 du score qualité est celui qu’utilisent tous les labs du kit (détection du lab 3, alerte et SLO du lab 4).
Infra verte, qualité dégradée
Section intitulée « Infra verte, qualité dégradée »Une dérive se reconnaît à une décorrélation : tous les indicateurs techniques sont normaux, seul le score qualité baisse. Un tableau de bord qui place côte à côte latence, taux d’erreur et score qualité rend ce décalage visible d’un coup d’œil.
Commencer simple
Section intitulée « Commencer simple »Une moyenne mobile du score qualité et un seuil suffisent pour démarrer. Les tests statistiques (PSI, KS, Wasserstein) viennent ensuite, quand le volume justifie l’effort. La détection statistique avancée est traitée dans le parcours Au-delà du LLM : GPU et qualité des modèles.
Avant le lab 3
Section intitulée « Avant le lab 3 »Les dérives de données, de concept et de pipeline n’ont ni la même cause ni la même réponse. La dérive de pipeline se lit dans les attributs de span, à condition d’y avoir mis la configuration : vérifiez dès maintenant que vos spans portent le modèle demandé, le modèle renvoyé, la version du prompt et le top_k. Dans tous les cas, le symptôme à surveiller est le même : une infrastructure verte et un score qualité qui baisse. On le mesure contre le contexte récupéré ou, pour la dérive de concept, contre une vérité terrain, car la fidélité au contexte peut rester haute quand la base elle-même est périmée.
Révisé le 2 octobre 2026 : affirmation non sourcée sur la fréquence des dérives de pipeline retirée, seuils présentés comme illustratifs et alignés sur 0,6, code de module remplacé par un lien vers le parcours observabilité IA avancée.
Révisé le 4 octobre 2026 : module désigné comme référence du site pour la taxonomie des dérives, table de correspondance des termes ajoutée (dérive des sorties présentée comme un symptôme), changement silencieux du fournisseur ou du modèle rangé dans la dérive de pipeline.