TechniqueExpert3 min de lecture
La qualité de votre IA est-elle vraiment démontrée ?
Vérifiez si un objectif de qualité est démontré sur un échantillon : marge d'incertitude (intervalle de Wilson), verdict par rapport à la cible et taille d'échantillon nécessaire.
Pour : ingénieurs et SRE · métiers et produitPrérequis : Notions de SLO. La statistique utile (proportion, marge d'incertitude) est expliquée dans la page.
Scénario illustratif : l’équipe qui développe un assistant d’IA annonce en comité que 98 % des réponses sont fidèles aux documents, au-dessus de l’objectif de 95 %. Une question de la directrice qualité refroidit la salle : « Sur combien de réponses ? » Sur 50. Le chiffre est vrai, la conclusion ne l’est pas encore.
Pensez à un sondage électoral. Interroger 50 personnes donne une tendance, avec une marge d’erreur si large qu’on ne peut pas annoncer de vainqueur. Avec 1 000 personnes, la marge se resserre. Un objectif de qualité pour une IA fonctionne de la même façon. On le formule comme un SLO (service level objective), une promesse chiffrée : par exemple, 95 % des réponses doivent rester fidèles aux sources. On le mesure sur un échantillon de réponses évaluées : k réponses jugées bonnes sur n. La proportion k / n n’est qu’une estimation, comme le résultat d’un sondage.
Le simulateur aide à trancher une question : avec les réponses évaluées dont vous disposez, pouvez-vous affirmer que l’objectif est atteint, qu’il est manqué ou ni l’un ni l’autre ? Comparer directement la proportion observée à la cible conduit à déclarer l’objectif atteint par chance sur un petit échantillon. La bonne comparaison porte sur la fourchette d’incertitude, appelée intervalle de confiance. Plus précisément, elle porte sur sa borne basse. Le simulateur la calcule avec la méthode de Wilson, fiable sur les petits échantillons et quand la proportion est proche de 0 ou de 1.
Résultat
Intervalle de Wilson (score), sans correction de continuité. Hypothèse : réponses indépendantes et échantillon représentatif ; un échantillonnage stratifié demande une pondération par strate. La formule de dimensionnement n ≈ (z / e)² p (1 - p) est l'approximation normale classique : elle sous-estime le besoin quand p est proche de 0 ou de 1.
À essayer
Section intitulée « À essayer »- Partez des valeurs par défaut : 475 bonnes réponses sur 500, soit 95 % pile, pour une cible de 95 %. La fourchette va d’environ 92,7 % à 96,6 %. La cible est dedans : le verdict est « non démontré ». Une proportion égale à la cible ne prouve jamais la cible.
- Passez à k = 49 et n = 50, le cas du scénario. On observe 98 %, mais la borne basse tombe vers 89,5 %. Un excellent score sur un petit échantillon ne démontre rien.
- Revenez à n = 500 et mettez k = 460. On observe 92 % et la borne haute est vers 94,1 %, sous la cible. L’objectif est manqué et cette fois l’échantillon suffit à l’affirmer.
- Saisissez 96 dans la proportion (avec n = 500). L’objectif n’est pas encore démontré. La tuile « Taille pour démontrer la cible » indique qu’il faudrait environ 1 800 réponses évaluées si cette proportion se maintient. Passez la confiance à 99 % : il en faut plus de 3 000.
La règle à retenir
Section intitulée « La règle à retenir »L’objectif est respecté si la borne basse de la fourchette est au-dessus de la cible. Il est violé si la borne haute est en dessous. Dans tous les autres cas, il est non démontré : il faut plus de données, pas une conclusion. À mon avis, ce troisième verdict est le plus utile des trois, parce qu’il évite à la fois de déclarer un incident sur du bruit et de rassurer sur trop peu de réponses.
Évaluer des réponses coûte du temps ou de l’argent. La taille d’échantillon se décide donc à l’avance, avec la cible et le niveau de confiance, par le responsable du service.
Pour les équipes techniques : les formules
L’intervalle de Wilson se calcule ainsi, avec z = 1,645, 1,96 ou 2,576 pour 90, 95 ou 99 % de confiance :
centre = (p + z² / 2n) / (1 + z² / n)demi-largeur = z / (1 + z² / n) × racine( p (1 - p) / n + z² / 4n² )Pour dimensionner l’échantillon autour d’une proportion p avec une marge e, l’approximation n ≈ (z / e)² p (1 - p) donne l’ordre de grandeur : environ 460 réponses pour p = 0,95 et e = 2 points à 95 %.
La méthode complète, avec l’opérationnalisation de la borne dans un composant dédié et les budgets d’erreur de qualité, est décrite dans le cœur SRE : SLO de qualité. Voir aussi le simulateur de budget d’erreur, le calculateur de la méthode et la page LLM, RAG et MCP.