TechniquePratique10 min de lecture
5. Conception des évaluateurs
Catalogue d'évaluateurs, types d'évaluateurs, modèles de prompts pour LLM juge, calibration, agrégation des scores, ensembles de juges et échantillonnage de l'évaluation.
Pour : ingénieurs et SREPrérequis : Avoir lu le chapitre 4 du guide, en particulier l'étape 5.
Revenons à l’assistant de la mutuelle, dans notre scénario illustratif. L’équipe veut maintenant savoir, pour chaque réponse, si elle s’appuie bien sur le contrat. Personne ne peut relire des milliers de conversations par jour. Il faut donc un correcteur automatique : un évaluateur.
Un évaluateur est un programme qui note une réponse selon un critère. Le critère peut être simple (la réponse est-elle du JSON valide ?) ou subtil (la réponse dit-elle la même chose que le contrat ?). Les évaluateurs sont la partie la plus propre à chaque métier d’une plateforme d’observabilité de l’IA.
Des évaluateurs prêts à l’emploi existent, dans Ragas, DeepEval ou Phoenix evals. Ils couvrent les dimensions génériques : fidélité, toxicité, format. La qualité propre à un domaine demande des évaluateurs sur mesure. Ils prennent presque toujours la forme d’un LLM juge, un modèle qu’on charge de noter les réponses d’un autre modèle à l’aide d’une grille écrite avec soin. Ce chapitre en couvre la mécanique pratique.
5.1 Catalogue d’évaluateurs
Section intitulée « 5.1 Catalogue d’évaluateurs »Voici un point de départ pragmatique pour la plupart des déploiements. Vous n’avez pas besoin de tout mettre en place d’un coup : l’annexe suggère de commencer par trois évaluateurs.
| Évaluateur | S’applique à | Ce qu’il mesure |
|---|---|---|
| Fidélité (faithfulness) | RAG | La réponse est-elle étayée par le contexte récupéré ? |
| Pertinence de la réponse | LLM, RAG | La réponse traite-t-elle la question posée ? |
| Précision du contexte | RAG | Part des fragments récupérés qui sont pertinents |
| Rappel du contexte | RAG | Part des fragments pertinents qui ont été récupérés |
| Toxicité | LLM | Présence de contenu nuisible, harcelant ou haineux |
| Fuite de données personnelles | LLM | Présence de données d’identification personnelle dans la sortie |
| Conformité de format | LLM | Conformité de la sortie au schéma attendu |
| Taux d’hallucination | LLM, RAG | Entités ou affirmations inventées, absentes de la source |
| Justesse des refus | LLM | Le modèle a-t-il refusé (ou non) à bon escient ? |
| Sélection d’outil | Agent | Le bon outil a-t-il été choisi à chaque étape ? |
| Validité des arguments | Agent | Les arguments d’outil respectent-ils le schéma ? |
| Borne de boucle | Agent | L’agent a-t-il dépassé un nombre d’itérations acceptable ? |
| Grille métier | Tous | Critères sur mesure propres à l’application |
5.2 Types d’évaluateurs
Section intitulée « 5.2 Types d’évaluateurs »On peut construire un évaluateur de trois façons, de la moins chère et la plus rigide à la plus chère et la plus souple.
Les évaluateurs à base de règles s’appuient sur des expressions régulières (des motifs de recherche dans le texte), la validation de schéma ou la présence de mots-clés. Ils sont rapides, peu coûteux et donnent toujours le même résultat pour la même entrée. Mais ils ne voient que la surface du texte.
Les évaluateurs à base de classifieurs utilisent de petits modèles entraînés pour une tâche précise : détecter la toxicité, les données personnelles, le sentiment. Ils sont rapides à l’exécution et eux aussi déterministes. En contrepartie, ils demandent des données d’entraînement étiquetées.
Le LLM juge, enfin, est un modèle qui note la sortie d’un autre modèle selon une grille écrite. Il est souple, coûteux et ne donne pas toujours la même note. C’est le seul qui sache juger le sens.
L’erreur courante consiste à confier tout au LLM juge. Repérer un numéro de carte ou un mot interdit relève d’une expression régulière. Vérifier qu’une sortie structurée respecte son format relève d’une validation par JSON Schema, le langage standard de description des documents JSON. Je vous recommande de réserver le LLM juge aux critères qui demandent vraiment de comprendre le texte.
5.3 Modèles de prompts pour LLM juge
Section intitulée « 5.3 Modèles de prompts pour LLM juge »Trois modèles couvrent la plupart des usages. Les prompts sont laissés en anglais, langue dans laquelle ils sont généralement rédigés ; chaque modèle est résumé en français et le prompt complet est dans une partie repliée.
Modèle 1 : classification binaire
Section intitulée « Modèle 1 : classification binaire »Le juge répond par 0 ou par 1. On s’en sert pour détecter les hallucinations ou vérifier la justesse des refus. Pour la conformité de format d’une sortie structurée, une vérification par JSON Schema reste préférable ; gardez le juge pour les critères de forme qui exigent une lecture du sens, comme le ton ou le registre.
Ce prompt demande au juge de renvoyer grounded à 1 seulement si chaque affirmation factuelle est étayée par le contexte. Une inférence non énoncée dans le contexte n’est pas considérée comme ancrée.
Pour les équipes techniques : le prompt de classification binaire
SYSTEM:You are an evaluator. Given a question, a context and an answer, returnexactly one JSON object with the schema: {"grounded": 0 or 1, "reason": "one short sentence"}A grounded answer is one where every factual claim is supported by thecontext. Inferences that are not stated in the context are not grounded.
USER:Question: {question}Context: {context}Answer: {answer}Modèle 2 : notation selon une grille
Section intitulée « Modèle 2 : notation selon une grille »Le juge renvoie une note chiffrée selon une grille écrite, comme un correcteur d’examen avec son barème. On s’en sert pour la pertinence, la complétude ou le ton.
La grille va de 1 (hors sujet) à 5 (juste, complet et bien structuré), en passant par 2 (réponse partielle, informations clés manquantes), 3 (réponse avec erreurs ou omissions) et 4 (juste et complet, mais perfectible dans la forme).
Pour les équipes techniques : le prompt de notation selon une grille
SYSTEM:Score the answer on a scale of 1 to 5 against the following rubric: 1 = irrelevant or off-topic 2 = partially addresses the question, missing key information 3 = addresses the question but with errors or omissions 4 = correct and complete, lacks polish 5 = correct, complete, well-structuredReturn JSON: {"score": int, "reason": "short justification"}
USER:Question: {question}Answer: {answer}Modèle 3 : comparaison par paires
Section intitulée « Modèle 3 : comparaison par paires »Le juge choisit la meilleure de deux réponses. On s’en sert pour les tests A/B de prompts ou de modèles. Il est plus facile de dire laquelle de deux réponses est la meilleure que de donner une note absolue à une seule : ce modèle est donc moins sensible à la calibration.
Le juge tranche d’abord sur l’exactitude factuelle, puis sur la complétude, enfin sur la clarté.
Pour les équipes techniques : le prompt de comparaison par paires
SYSTEM:Given a question and two candidate answers, return JSON: {"winner": "A" or "B" or "tie", "reason": "short justification"}Judge on factual correctness first, then completeness, then clarity.
USER:Question: {question}Answer A: {answer_a}Answer B: {answer_b}Les juges par paires ont un biais de position : ils tendent à favoriser la réponse présentée en premier, ou en second selon le modèle. Faites passer chaque paire deux fois en inversant A et B. Ne retenez un gagnant que si les deux passages concordent ; sinon, comptez une égalité.
5.4 Calibration
Section intitulée « 5.4 Calibration »Un juge n’a pas de note absolue. Ses scores dépendent du modèle juge, du prompt et de la température. Calibrer, c’est vérifier qu’il note comme le ferait un humain, comme on fait corriger les mêmes copies par deux professeurs pour voir s’ils sont d’accord.
La démarche tient en quatre temps.
- Constituez un jeu de calibration dont la bonne réponse a été établie par des humains. Ordre de grandeur : quelques dizaines à quelques centaines de traces (par exemple 50 à 200), avec assez de cas positifs et négatifs. Plus le critère est rare ou subtil, plus il en faut.
- Faites tourner le juge sur ce jeu et mesurez son accord avec les humains à l’aide d’un indicateur corrigé du hasard, comme le kappa de Cohen pour des verdicts binaires ou par catégories. Le taux d’accord brut est trompeur quand une classe domine : si 90 % des réponses sont ancrées, un juge qui répond toujours « ancré » obtient 90 % d’accord sans rien évaluer. Le kappa retire cette part d’accord due au hasard. Pour des scores numériques, utilisez une corrélation de rang ou un kappa pondéré.
- Fixez le seuil d’acceptation avant de mesurer, selon l’enjeu. À titre de repère, l’échelle de Landis et Koch (1977) qualifie d’accord important (substantial) un kappa compris entre 0,61 et 0,80 ; un seuil de 0,7 est un exemple, pas une norme. Sous votre seuil, il faut retravailler le prompt du juge ou changer de modèle juge.
- Recalibrez à chaque changement de modèle juge. Les mises à jour des fournisseurs modifient le comportement des juges.
5.5 Agrégation des scores
Section intitulée « 5.5 Agrégation des scores »Une note par trace sert à enquêter sur un cas. Pour surveiller la qualité dans le temps, il faut agréger. Je vois trois façons de le faire.
La moyenne sur une fenêtre est simple, mais elle cache la forme de la distribution : quelques réponses très mauvaises disparaissent dans la masse. C’est le choix par défaut pour les évaluateurs stables.
Un percentile bas, souvent p10 ou p25, regarde la queue des pires réponses plutôt que la moyenne. Le p10 est la note sous laquelle tombent les 10 % de réponses les moins bien notées. Il détecte mieux les régressions.
Le taux sous un seuil compte la part des traces dont la note est inférieure à une valeur fixe. C’est la base d’un SLO de qualité, un objectif chiffré qui se formule comme une proportion : par exemple « au moins 95 % des réponses évaluées obtiennent plus de 0,8 en fidélité sur une fenêtre glissante de 7 jours » (valeurs illustratives).
Cette proportion est estimée sur un échantillon de réponses évaluées. On ne compare donc pas sa valeur ponctuelle à la cible, mais la borne inférieure de son intervalle de confiance (borne de Wilson), c’est-à-dire la valeur la plus basse compatible avec l’échantillon. La définition du SLO de qualité, le dimensionnement de l’échantillon, le budget d’erreur et la méta-observabilité du juge sont traités dans la méthode GenAI, partie IV, qui fait référence sur ce point.
5.6 Auto-cohérence et ensembles de juges
Section intitulée « 5.6 Auto-cohérence et ensembles de juges »Un appel de juge unique est bruité : deux appels identiques peuvent donner deux notes différentes. Deux stratégies réduisent cette variance.
L’auto-cohérence (self-consistency) consiste à faire tourner le même prompt de juge trois ou cinq fois et à retenir la majorité. Le coût du juge est multiplié par trois (ou cinq) et la variance baisse nettement.
Les ensembles de juges utilisent deux modèles juges différents et exigent leur accord, un peu comme une double correction. La confiance augmente sur les cas positifs, mais il y a plus de désaccords à examiner.
Je réserve l’auto-cohérence aux évaluateurs à fort enjeu, comme les refus ou la sûreté. Pour les évaluateurs continus peu coûteux, comme la pertinence, un appel unique suffit.
5.7 Échantillonnage de l’évaluation
Section intitulée « 5.7 Échantillonnage de l’évaluation »Faire tourner chaque évaluateur sur chaque trace est rarement abordable à grande échelle. On évalue donc un échantillon, organisé par paliers de coût.
Un principe vaut pour tout le site : ce qui fixe la précision d’un indicateur de qualité, c’est le nombre de jugements par segment (fonctionnalité, locataire, langue, type de requête) et par période, pas le pourcentage échantillonné. C’est comme un sondage : la précision dépend du nombre de personnes interrogées, pas de la part de la population. Le même taux de 1 % donne 100 000 jugements par jour sur 10 millions de requêtes, mais 20 seulement sur 2 000 requêtes, trop peu pour suivre une proportion.
Fixez donc d’abord le nombre de jugements nécessaire par segment et par fenêtre (la méthode GenAI, partie IV donne la formule de dimensionnement). Déduisez-en le taux, puis sur-échantillonnez les segments rares ou à risque. Les paliers ci-dessous illustrent une organisation par coût ; leurs pourcentages sont des exemples.
- Palier 1 (peu coûteux, toujours actif) : vérifications de format à base de règles, détection de données personnelles et de toxicité par classifieurs. Par exemple sur 100 % des traces.
- Palier 2 (coût moyen) : petits appels de LLM juge pour la fidélité et la pertinence. Par exemple sur 10 % des traces.
- Palier 3 (coût élevé) : grands modèles juges ou auto-cohérence pour les grilles métier. Par exemple sur 1 % des traces, plus 100 % des traces signalées par les paliers 1 ou 2.
Ces taux sont à ajuster selon votre volume et votre budget. Vérifiez qu’ils donnent assez de jugements par segment et par période pour la précision dont vous avez besoin.
Par où commencer ? Choisissez un critère qui compte pour le métier, écrivez sa grille avec lui, puis faites noter cinquante traces par des humains avant même de brancher le juge.
Suite : 6. Le paysage des outils.
Révisé le 4 octobre 2026 : SLO de qualité formulé comme une proportion avec renvoi à la méthode GenAI (borne de Wilson), principe d’échantillonnage du juge (nombre de jugements par segment et par période plutôt que pourcentage), paliers présentés comme des exemples.
Révisé le 25 octobre 2026 : ouverture sur le scénario illustratif, termes expliqués (évaluateur, expression régulière, JSON Schema, kappa, percentile, borne de Wilson), prompts placés dans des parties repliables, types et agrégations rédigés en prose.