TechniqueExpert9 min de lecture
Partie IV. Le cœur SRE : SLO de qualité et budgets d'erreur
Comment promettre un niveau de qualité quand on ne peut noter qu'une partie des réponses ? SLI déterministes et probabilistes, SLO de qualité avec borne de Wilson, budget d'erreur et burn rate sur la qualité, surveillance du juge.
Pour : ingénieurs et SRE · architectes · managers d’équipePrérequis : Avoir lu la partie I ; notions de SLO, de budget d'erreur et de burn rate.
Scénario illustratif. En comité, la responsable produit montre un chiffre rassurant : la fidélité moyenne des réponses de l’assistant est de 0,91 sur 1. Un membre du comité demande combien de réponses sont franchement fausses. Personne ne sait répondre. Un autre demande sur combien de réponses la moyenne a été calculée : une trentaine, notées à la main la semaine précédente.
C’est à mon avis la contribution la plus spécifique de la méthode. La discipline SRE (site reliability engineering, l’ingénierie de la fiabilité) a appris à promettre un niveau de service chiffré (le SLO) et à gérer la marge d’erreur qu’il laisse, le budget d’erreur. Elle s’applique à la qualité d’une IA générative. Une différence change pourtant tout : la qualité ne se mesure pas sur chaque requête. On l’estime sur un échantillon, avec un évaluateur qui peut lui-même se tromper.
12. SLI déterministes contre SLI probabilistes
Section intitulée « 12. SLI déterministes contre SLI probabilistes »Un SLI est l’indicateur qu’on suit pour savoir si la promesse est tenue. On en distingue trois familles.
Les SLI de service sont déterministes : disponibilité, latence, taux d’erreur. On les mesure sur 100 pour cent du trafic, comme en SRE classique. Chaque requête a répondu ou non, en tant de millisecondes.
Les SLI de qualité sont probabilistes : fidélité, hallucination, refus, pertinence. On les mesure sur un échantillon, comme un contrôleur qualité qui prélève quelques bouteilles sur la chaîne au lieu de goûter toutes les bouteilles. L’évaluateur qui note ces réponses est souvent lui-même un modèle, donc non déterministe : il peut donner deux notes différentes à la même réponse.
Les SLI de coût suivent le coût moyen par requête, par session et par tâche, ainsi que sa dérive.
La différence de fond tient en un mot : un SLI de qualité est une estimation, avec l’incertitude de tout sondage. Le traiter comme une mesure exacte est une erreur de méthode fréquente, traitée en anti-pattern (partie VIII, piège 3).
13. Définir un SLO de qualité
Section intitulée « 13. Définir un SLO de qualité »Cette partie est la référence du site pour les SLO de qualité. Les seuils simplifiés présentés ailleurs, par exemple dans les labs ou le guide, sont des SLO pédagogiques qui renvoient ici.
Pourquoi un seuil sur une moyenne ne suffit pas ?
Section intitulée « Pourquoi un seuil sur une moyenne ne suffit pas ? »Revenons au 0,91 du comité. Une moyenne de scores (« fidélité moyenne supérieure à 0,8 ») ne dit pas combien de réponses sont mauvaises. Quelques réponses très mauvaises se cachent derrière beaucoup de bonnes ; la moyenne bouge à peine quand ces cas extrêmes, qu’on appelle la traîne, se dégradent. Une moyenne ne fournit pas non plus de budget : on ne sait en tirer ni budget d’erreur ni burn rate.
Un SLO compte des événements bons parmi des événements valides. Pour la qualité, l’événement bon est une réponse dont le score atteint un seuil fixé à l’avance. Le SLI devient donc une proportion. Comme cette proportion est estimée sur un échantillon, on la compare à la cible par sa borne inférieure de confiance, c’est-à-dire la valeur la plus basse plausible compte tenu de la taille de l’échantillon.
La formule
Section intitulée « La formule »On définit un seuil de qualité tau (par exemple un score de fidélité minimal), puis on calcule la part des réponses qui l’atteignent.
SLI_qualite = (nombre de réponses échantillonnées avec score >= tau) / (taille de l'échantillon)Un sondage auprès de vingt personnes et un sondage auprès de mille peuvent donner le même pourcentage, mais on ne leur accorde pas la même confiance. C’est pourquoi on ne compare pas la valeur brute à la cible. On compare la borne inférieure de l’intervalle de confiance à 95 pour cent, calculée avec la méthode de Wilson, qui reste fiable sur les petits échantillons.
SLO respecté <=> borne_inferieure_95(SLI_qualite, n) >= cibleCombien de réponses noter ?
Section intitulée « Combien de réponses noter ? »Pour une marge d’erreur e à 95 pour cent autour d’une proportion p, la taille d’échantillon se calcule par n ~= (1,96 / e)^2 * p * (1 - p). Pour estimer un taux de fidélité voisin de 0,95 à plus ou moins 2 points, il faut de l’ordre de 450 à 500 réponses évaluées par fenêtre de mesure. Les trente réponses du comité étaient très loin du compte.
Je recommande un échantillonnage stratifié : on prélève davantage dans les segments à risque (requêtes sensibles, nouveaux flux) plutôt que de tirer au hasard dans tout le trafic.
C’est le nombre de jugements par segment et par fenêtre qui fixe la précision, pas le pourcentage du trafic. Exemple illustratif : 10 pour cent d’un segment de 200 requêtes par jour donnent 20 jugements, bien trop peu pour la marge visée ci-dessus. 1 pour cent d’un flux de 100 000 requêtes en donnent 1 000. Les pourcentages par palier du guide, 5.7 sont des exemples à convertir de cette façon : partir de la marge voulue, en déduire n par segment et par fenêtre, puis le taux d’échantillonnage de chaque segment.
Voici une formulation type de SLO de qualité, à reprendre telle quelle dans un document d’engagement : « au moins 95 pour cent des réponses, estimées sur un échantillon stratifié d’environ 500 par jour, obtiennent un score de fidélité supérieur au seuil, borne inférieure de l’intervalle de confiance à 95 pour cent au-dessus de la cible, sur une fenêtre glissante de 7 jours ».
14. Budget d’erreur et burn rate sur la qualité
Section intitulée « 14. Budget d’erreur et burn rate sur la qualité »Le budget d’erreur ressemble à une enveloppe mensuelle de dépenses. Si la cible est 95 pour cent de bonnes réponses, on s’autorise 5 pour cent de mauvaises : c’est l’enveloppe. Le burn rate mesure la vitesse à laquelle on la dépense.
budget_erreur_qualite = 1 - cibleburn_rate = (1 - SLI_qualite) / (1 - cible)Un burn rate de 1 consomme le budget exactement au rythme prévu. Au-delà, l’enveloppe s’épuise avant la fin de la période.
On surveille ce rythme sur deux fenêtres à la fois, adaptées à la façon dont la qualité bouge. La fenêtre courte (par exemple 1 h, avec un seuil de burn rate élevé) repère un effondrement brutal, après un déploiement de prompt ou un changement de modèle. La fenêtre longue (par exemple 24 h à 7 j, avec un seuil modéré) repère la dérive lente, qui est la maladie propre de la qualité.
Ne calquez pas ces fenêtres sur celles de la latence. La qualité bouge lentement ; ses fenêtres sont plus longues que celles de la disponibilité.
15. Le problème de l’évaluateur (méta-observabilité)
Section intitulée « 15. Le problème de l’évaluateur (méta-observabilité) »Pour noter des milliers de réponses, on confie souvent la tâche à un autre modèle : c’est le LLM-as-judge, le modèle juge. C’est l’angle mort de la plupart des dispositifs, car ce juge est lui-même un modèle non déterministe qui dérive. Imaginez un arbitre dont la vue baisse au fil de la saison sans que personne ne vérifie : les scores changent, les matchs non. Si le juge dérive, le SLI de qualité est faussé sans que rien ne l’indique. Il faut donc observer le juge, d’où le nom de méta-observabilité.
La méthode s’appuie sur un golden set, un jeu de référence annoté par des humains et stable dans le temps. Il joue le rôle de l’étalon qu’on garde au bureau des poids et mesures.
On mesure ensuite la calibration, c’est-à-dire l’accord entre le juge et le golden set. Je recommande un indicateur corrigé du hasard comme le kappa de Cohen (voir le guide, 5.4), suivi comme une métrique à part entière. Un accord qui chute invalide les mesures de qualité.
On versionne le juge : la version du modèle juge et celle du prompt d’évaluation sont épinglées. Tout changement de juge est un événement à tracer, au même titre qu’un changement de modèle en production.
On recalibre périodiquement, en revalidant le juge contre les humains à intervalle régulier et après tout changement de version.
Reste l’économie de la vérité terrain. Le goulot d’étranglement est l’annotation humaine, lente et coûteuse. La stratégie consiste à constituer le golden set une fois, à s’en servir pour calibrer le juge, à laisser le juge passer à l’échelle, puis à ne solliciter les humains que pour la revalidation périodique et les cas où le juge est peu sûr de lui.
Mettre la borne de Wilson en production
Section intitulée « Mettre la borne de Wilson en production »La borne de Wilson ne se calcule pas en MetricsQL. Elle vit dans un sidecar de SLO qualité, un petit programme qui tourne à côté du reste. Il lit les scores échantillonnés (depuis la plateforme d’évaluation ou le stockage des traces), calcule la borne sur une fenêtre glissante et l’expose comme métrique OTel. L’alerte de SLO lit ensuite cette métrique et se déclenche quand la borne inférieure passe sous la cible, pas sur la valeur ponctuelle.
Pour les équipes techniques : le calcul de la borne de Wilson en Python
# sidecar de SLO qualité : borne de Wilson exposée comme métrique OTelfrom math import sqrt
def wilson_lower(k, n, z=1.96): if n == 0: return 0.0 p = k / n d = 1 + z*z/n centre = p + z*z/(2*n) margin = z * sqrt(p*(1-p)/n + z*z/(4*n*n)) return (centre - margin) / d
# k = réponses échantillonnées avec score >= tau, n = taille de l'échantillon# émis comme quality_slo.faithfulness.lower_bound (jauge OTel), hors de# l'espace gen_ai.*, réservé aux conventions sémantiquesslo_respecte = wilson_lower(k, n) >= cibleLe lab complet de la méthode, en préparation (partie IX), embarquera ce sidecar. Son scénario d’hallucination doit faire chuter la borne sous la cible là où la latence reste verte.
16. SLO composites
Section intitulée « 16. SLO composites »Un RAG a un SLO de recherche et un SLO de génération. Pour l’utilisateur, la réponse n’est bonne que si les deux tiennent à la fois : la recherche a remonté le bon contexte et la génération l’a respecté. C’est comme une chaîne dont chaque maillon doit tenir. Décomposer le SLO permet d’attribuer une dégradation au bon maillon. Un agent, de même, a un SLO de succès de tâche qui combine les SLO des outils et du modèle tout au long de sa trajectoire.
17. Gating qualité en intégration continue
Section intitulée « 17. Gating qualité en intégration continue »Les SLO surveillent la production. Leur pendant hors ligne est le gating, un portique de contrôle avant mise en production. Tout changement de prompt, de modèle ou de version d’outil passe par une suite d’évaluations sur un jeu de données de référence avant d’être déployé. Si la suite régresse au-delà du budget, le déploiement est bloqué. DeepEval, RAGAS et Promptfoo font ce travail.
À mon avis, une évaluation légère qui tourne à chaque pull request vaut mieux qu’une évaluation complète trimestrielle qu’on oublie de lancer.
Pour lundi matin
Section intitulée « Pour lundi matin »Regardez votre indicateur de qualité actuel. Si c’est une moyenne, remplacez-le par une proportion de réponses au-dessus d’un seuil. Comptez ensuite combien de réponses vous notez par jour et par segment : en dessous de quelques centaines, votre chiffre est un sondage trop petit pour fonder une alerte. Enfin, constituez un premier golden set, même modeste, pour pouvoir vérifier votre juge.
Révisé le 4 octobre 2026 : la partie devient la référence du site pour les SLO de qualité ; ajout de la raison pour laquelle un seuil sur une moyenne n’est pas un SLO, du principe d’échantillonnage du juge (nombre de jugements par segment et par fenêtre, avec renvoi au guide 5.7) et de l’accord corrigé du hasard pour la calibration.
Révisé le 25 octobre 2026 : page réécrite pour un public plus large (scénario d’ouverture, images, code replié), sans changement de fond.