Technique
Simulateur : SLO de qualité et borne de Wilson
Pour : ingénieurs et SRE · métiers et produitPrérequis : Notions de SLO et de statistique de base (proportion, intervalle de confiance).
Un SLO de qualité, par exemple sur la fidélité des réponses d’un assistant génératif, se mesure sur un échantillon évalué : k réponses au-dessus du seuil sur n. La proportion observée k / n n’est qu’une estimation. Comparer cette valeur ponctuelle à la cible conduit à déclarer le SLO respecté par chance sur un petit échantillon. La bonne comparaison porte sur la borne inférieure de l’intervalle de confiance, calculée ici avec l’intervalle de Wilson, robuste sur les petits échantillons et près de 0 ou de 1.
Résultat
Intervalle de Wilson (score), sans correction de continuité. Hypothèse : réponses indépendantes et échantillon représentatif ; un échantillonnage stratifié demande une pondération par strate. La formule de dimensionnement n ≈ (z / e)² p (1 - p) est l'approximation normale classique : elle sous-estime le besoin quand p est proche de 0 ou de 1.
À essayer
Section intitulée « À essayer »- Les valeurs par défaut : 475 réponses sur 500, soit 95 % pile, pour une cible de 95 %. L’intervalle va d’environ 92,7 % à 96,6 % : la cible est dedans, le SLO est « non démontré ». Une proportion égale à la cible ne prouve jamais la cible.
- Passez à k = 49 et n = 50 : 98 % observés, mais la borne basse tombe vers 89,5 %. Un excellent score sur un petit échantillon ne démontre rien.
- Revenez à n = 500 et mettez k = 460 : 92 % observés, borne haute vers 94,1 %, sous la cible. Le SLO est violé et cette fois l’échantillon suffit à l’affirmer.
- Saisissez 96 dans la proportion (n = 500) : le SLO n’est pas encore démontré. La tuile « Taille pour démontrer la cible » indique qu’il faudrait environ 1 800 réponses évaluées si cette proportion se maintient. Passez la confiance à 99 % : il en faut plus de 3 000.
La règle à retenir
Section intitulée « La règle à retenir »- Respecté si la borne inférieure est au-dessus de la cible ;
- violé si la borne supérieure est en dessous ;
- non démontré sinon : il faut plus de données, pas une conclusion.
L’intervalle de Wilson se calcule ainsi, avec z = 1,645, 1,96 ou 2,576 pour 90, 95 ou 99 % de confiance :
centre = (p + z² / 2n) / (1 + z² / n)demi-largeur = z / (1 + z² / n) × racine( p (1 - p) / n + z² / 4n² )Pour dimensionner l’échantillon autour d’une proportion p avec une marge e, l’approximation n ≈ (z / e)² p (1 - p) donne l’ordre de grandeur : environ 460 réponses pour p = 0,95 et e = 2 points à 95 %.
La méthode complète, avec l’opérationnalisation de la borne dans un composant dédié et les budgets d’erreur de qualité, est décrite dans le cœur SRE : SLO de qualité. Voir aussi le simulateur de budget d’erreur, le calculateur de la méthode et la page LLM, RAG et MCP.