TechniquePratique6 min de lecture
Module 4 : l'évaluation continue en production
Noter les réponses d'un LLM avant chaque mise en production et en continu ensuite : évaluation hors ligne et en ligne, le LLM juge et ses biais, quatre métriques propres au RAG, la détection des hallucinations et les retours utilisateurs.
Pour : ingénieurs et SREPrérequis : Avoir lu le module 3 du parcours sur les trois dérives.
Un vendredi, l’équipe d’un assistant de support déploie une nouvelle version du prompt (scénario illustratif). Avant la mise en production, elle l’a testée sur trois cents questions dont elle connaît la bonne réponse : aucune régression. Le lundi suivant, les retours négatifs augmentent sur une seule fonctionnalité, le suivi de commande. Les questions de test n’en contenaient presque pas. L’équipe a fait le contrôle avant le départ, il lui manquait le voyant allumé en route.
Ce module traite de ces deux contrôles, de l’outil qui permet de les automatiser (un modèle qui en note un autre) et de la façon de lire les scores d’un RAG.
En ligne ou hors ligne
Section intitulée « En ligne ou hors ligne »L’évaluation hors ligne ressemble au contrôle technique d’une voiture : on la fait à chaque nouvelle version, avant le déploiement, sur un jeu de référence, c’est-à-dire une liste de questions dont on connaît la bonne réponse (en ordre de grandeur, quelques centaines à un millier de paires question et réponse). Elle permet une comparaison rigoureuse entre versions. Elle coûte plus cher, car elle demande souvent un humain dans la boucle. Elle ne voit pas non plus les dérives qui apparaissent après la mise en production.
L’évaluation en ligne ressemble plutôt aux voyants du tableau de bord : elle tourne en continu sur le trafic réel, échantillonné (par exemple 1 à 5 %, voir plus bas). Elle détecte vite et alerte presque en temps réel. Son coût reste maîtrisé par l’échantillonnage, chaque jugement consommant des jetons. Sa limite : il n’y a pas d’oracle, seulement un autre modèle qui juge.
Les deux sont complémentaires et répondent à des questions différentes. En pratique, on évalue hors ligne avant chaque mise en production et en ligne en continu.
Combien de réponses faire juger en ligne ? Le principe retenu sur tout le site : c’est le nombre de jugements par segment et par période (par fonctionnalité ou par client, par heure ou par jour) qui fait la précision d’un score, pas le pourcentage du trafic. Les 1 à 5 % cités ici sont des exemples. Sur un trafic important, 1 % donne déjà beaucoup de jugements ; sur un segment peu fréquenté, même 100 % peut n’en donner que quelques-uns par jour. C’est exactement le piège du suivi de commande dans le scénario d’ouverture. La conception de l’échantillonnage (paliers d’évaluateurs, traces toujours évaluées) a sa référence à la section 5.7 du guide ; ce module garde ce qui est propre aux labs : les biais du juge et le diagnostic du RAG.
Les deux évaluations forment une seule boucle :
flowchart TB
V["Nouvelle version"] --> OFF{"Hors ligne<br/>jeu de référence"}
OFF -->|"régression"| FX["Corriger"]
FX --> V
OFF -->|"conforme"| PR["Production"]
PR --> ON["En ligne<br/>échantillon 1 à 5 %,<br/>juge différent"]
PR --> FB["Retours utilisateurs<br/>rattachés au trace_id"]
ON --> AL{"Score<br/>en baisse"}
FB --> AL
AL -->|"oui"| EN["Enquête<br/>sur la trace"]
EN -.->|"nouveaux cas"| OFF
Le LLM juge
Section intitulée « Le LLM juge »Le LLM juge est un modèle à qui l’on confie la correction des copies : on lui montre la question, le contexte et la réponse, il rend une note. C’est rapide et cela produit un score exploitable en métrique. Cela reste coûteux et non déterministe : épingler la version du modèle juge et fixer la température à zéro améliorent la reproductibilité sans la garantir.
L’accord avec un jugement humain peut être élevé. Sur des comparaisons de réponses de chatbots, Zheng et al. mesurent plus de 80 % d’accord entre GPT-4 et des évaluateurs humains, autant qu’entre humains (Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, 2023). Ce résultat ne se transpose pas tel quel à votre juge ni à vos critères : mesurez l’accord sur un échantillon que vous aurez fait annoter.
Comme tout correcteur, le juge a des biais connus, qu’il faut compenser :
| Biais | Effet |
|---|---|
| verbosité | préfère les réponses longues |
| auto-préférence | préfère son propre style |
| position | favorise la première option dans une comparaison A/B |
| aplomb | tolère une hallucination bien rédigée |
| coût caché | les jetons du juge dépassent parfois ceux du modèle évalué |
Pour les compenser, je recommande un prompt d’évaluation structuré, un format de sortie rigide, un juge différent du modèle évalué et un échantillonnage croisé avec des annotations humaines.
Quatre métriques propres au RAG
Section intitulée « Quatre métriques propres au RAG »Dans un RAG, une mauvaise réponse peut venir de deux endroits : la recherche n’a pas trouvé les bons documents, ou le modèle n’a pas su s’en servir. Quatre métriques aident à faire la différence. RAGAS, cité dans le tableau, est une bibliothèque d’évaluation qui les calcule.
| Métrique | Question | Outils |
|---|---|---|
| Faithfulness (fidélité) | les affirmations de la réponse sont-elles soutenues par le contexte récupéré ? | RAGAS, Phoenix |
| Context recall | le contexte contient-il l’information nécessaire ? | RAGAS, vérité terrain |
| Context precision | le contexte est-il dense ou bruité ? | RAGAS |
| Answer relevance | la réponse répond-elle à la question posée ? | RAGAS, LLM juge |
Une fidélité basse avec un context recall bas désigne la récupération : les bons documents n’étaient pas sur la table. Une fidélité basse avec un context recall haut désigne la génération : les documents étaient là, le modèle s’en est éloigné.
flowchart LR
F["Fidélité basse"] --> R{"Context recall"}
R -->|"bas"| RET["Chercher côté récupération"]
R -->|"haut"| GEN["Chercher côté génération"]
Détecter les hallucinations
Section intitulée « Détecter les hallucinations »On combine trois niveaux de détection selon le risque. Le premier repose sur des règles simples : un chiffre, une date ou un nom propre présent dans la réponse mais absent du contexte. Le deuxième fait appel à des modèles spécialisés, des classifieurs d’implication qui vérifient si le contexte permet logiquement d’affirmer ce que dit la réponse. Le troisième écoute les signaux faibles : retours négatifs, reformulations immédiates de la même question, abandons.
Les retours utilisateurs
Section intitulée « Les retours utilisateurs »Le pouce haut ou bas est le signal le moins cher et le plus direct. Rattachez-le à la trace par son trace_id : un retour négatif devient alors un point d’entrée vers le contexte exact qui a produit la mauvaise réponse.
Ce qu’on met en place
Section intitulée « Ce qu’on met en place »Faites de l’évaluation hors ligne une condition de chaque mise en production et laissez l’évaluation en ligne tourner en continu, avec assez de jugements sur chaque segment qui compte. Un LLM juge n’est utile que s’il diffère du modèle évalué et que ses biais sont compensés. Lisez ensemble fidélité et context recall pour savoir si le problème vient de la récupération ou de la génération. Enfin, rattachez chaque retour utilisateur à sa trace : il donne le contexte exact de l’erreur, ce qu’aucun score agrégé ne fournit.
Révisé le 2 octobre 2026 : le chiffre de corrélation non sourcé entre juge et humains est remplacé par l’étude de Zheng et al. (2023), les taux d’échantillonnage et la taille du jeu de référence sont présentés comme des ordres de grandeur.
Révisé le 4 octobre 2026 : principe d’échantillonnage du juge énoncé (le nombre de jugements par segment et par période compte plus que le pourcentage), taux présentés comme des exemples et renvoi à la section 5.7 du guide.