BusinessExpert6 min de lecture
Partie V. Analyse d'impact quantifiée
Ce que coûte un angle mort : la vitesse à laquelle la perte s'accumule multipliée par le temps qu'on met à la voir. Le modèle, un exemple chiffré, le calculateur et une matrice pour choisir quoi surveiller d'abord.
Pour : architectes · finance, risque et conformité · direction et DSIPrérequis : Avoir lu la partie I (modèle de la défaillance silencieuse).
Scénario illustratif. La directrice financière reçoit la facture du fournisseur de modèles. Elle a augmenté chaque mois depuis le printemps, alors que le nombre d’utilisateurs de l’assistant n’a pas bougé. Elle pose deux questions à l’équipe : d’où vient l’écart ? Combien aurait-on économisé en le voyant plus tôt ? Cette partie donne la méthode pour répondre à la seconde.
18. Le modèle de coût de la non-surveillance
Section intitulée « 18. Le modèle de coût de la non-surveillance »Pensez à une fuite d’eau sous un évier. Ce qu’elle coûte dépend de deux choses : le débit de la fuite et le temps qui passe avant qu’on ouvre le placard. Un angle mort d’observabilité fonctionne pareil. Son coût est le produit d’un taux d’accumulation (combien on perd par jour) par un délai de détection (combien de jours avant de s’en apercevoir).
Sans signal, on découvre la perte par un canal extérieur : la facture mensuelle, une plainte de client. La méthode retient par hypothèse un cycle de facturation, soit 30 jours. Avec le signal, ce délai tombe à quelques minutes ou quelques heures. La valeur d’un signal, c’est donc à peu près ce qu’on perd chaque jour multiplié par les jours gagnés.
valeur_d_un_signal ~= taux_d_accumulation x (delai_sans_signal - delai_avec_signal)Les notations
Section intitulée « Les notations »Pour chiffrer, on part du coût d’un appel au modèle. V désigne le nombre de requêtes ou de tâches par jour. t_in et t_out sont le nombre moyen de jetons (tokens) envoyés au modèle et reçus de lui. p_in et p_out sont les prix par jeton correspondants, qui figurent dans le contrat du fournisseur. Pour un agent, cout_etape est le coût d’une étape de la boucle : une étape correspond à un appel au modèle, donc cout_etape vaut cout_par_appel, sauf si vous mesurez le coût réel des étapes, qui envoient souvent plus de contexte que la moyenne.
cout_par_appel = t_in * p_in + t_out * p_outcout_base_mensuel = V * cout_par_appel * 30cout_etape = cout_par_appel (par défaut, sans mesure plus fine)Ce que coûte chaque angle mort
Section intitulée « Ce que coûte chaque angle mort »Une boucle d’agent ressemble à un taxi qui fait trois fois le tour du quartier avant de vous déposer. Une tâche normale demande K étapes. Une part r des tâches part en boucle et fait L étapes au lieu de K. Le surcoût mensuel vaut = V * r * (L - K) * cout_etape * 30. Le cas extrême est l’emballement nocturne : un agent bloqué qui envoie R requêtes par minute pendant H heures coûte R * 60 * H * cout_par_appel.
Le gonflement de prompt est plus sournois. Chaque mois, quelqu’un ajoute une consigne, un exemple, un paragraphe de contexte ; le texte envoyé au modèle grossit d’une proportion g. Personne ne le voit pendant M mois. Le surcoût cumulé vaut à peu près cout_base_mensuel_in * g * M * (M + 1) / 2, où cout_base_mensuel_in = V * t_in * p_in * 30.
Un cache de réponses inexploité, c’est payer à chaque fois pour une question à laquelle on a déjà répondu. Si une part h des appels pourrait être servie depuis le cache, l’économie manquée vaut = h * cout_base_mensuel. Cette formule vaut pour un cache de réponses, où un hit (une question retrouvée dans le cache) évite tout l’appel. Un cache de prompt ne fait que réduire le prix des jetons d’entrée relus en cache ; l’économie est alors plus faible.
L’hallucination, enfin, a un coût espéré = P_hallucination * N_incidents_exposes * cout_par_incident. Le coût par incident comprend la remédiation, l’atteinte à la réputation et l’exposition réglementaire. C’est le poste le plus difficile à estimer.
19. Exemple chiffré
Section intitulée « 19. Exemple chiffré »Les prix changent vite et varient selon les contrats : ce guide n’en donne aucun. Utilisez la grille datée de votre fournisseur. L’exemple chiffre donc les angles morts en jetons et en appels. Pour obtenir des euros, multipliez les jetons d’entrée par p_in et les jetons de sortie par p_out (l’annexe D explique comment construire votre table).
Les paramètres sont illustratifs. L’application reçoit V = 50 000 appels par jour, avec en moyenne t_in = 1 500 jetons d’entrée et t_out = 400 jetons de sortie. Cela fait chaque jour 50 000 x 1 500 = 75 millions de jetons d’entrée et 50 000 x 400 = 20 millions de jetons de sortie. Sur un mois, la base du coût représente 2 250 millions de jetons d’entrée et 600 millions de jetons de sortie, soit cout_base_mensuel = 2 250 M x p_in + 600 M x p_out.
Appliquons maintenant les trois angles morts à ces mêmes paramètres.
Un prompt qui gonfle de g = 8 pour cent par mois sans que personne ne le voie pendant M = 4 mois produit une surconsommation cumulée de l’ordre de 2 250 M x 0,08 x 4 x 5 / 2 = 1 800 millions de tokens d'entrée sur quatre mois. À multiplier par p_in. Aucune alerte ne se déclenche.
Un cache de réponses qui pourrait servir h = 30 pour cent des appels et qu’on n’exploite pas laisse passer 0,30 x 50 000 x 30 = 450 000 appels évitables par mois. Cela représente 675 millions de jetons d’entrée et 180 millions de jetons de sortie, c’est-à-dire 30 pour cent du coût de base.
Un seul agent emballé pendant une nuit, à R = 20 requêtes par minute pendant 8 heures, envoie 20 x 60 x 8 = 9 600 appels. Cela fait 14,4 millions de jetons d’entrée et 3,84 millions de jetons de sortie, à multiplier par la fréquence de ces incidents.
Aucune de ces pertes ne déclenche d’alerte de latence ou d’erreur. Elles illustrent exactement le modèle de la défaillance silencieuse. À mon avis, c’est le type de chiffre qui justifie un investissement d’observabilité devant une direction : des euros, une fois vos prix appliqués, plutôt que des courbes.
20. Outil : le calculateur d’exposition économique
Section intitulée « 20. Outil : le calculateur d’exposition économique »Le modèle est mis en pratique dans un calculateur interactif, pensé pour un échange avec une direction financière ou un comité des risques. On y saisit le volume, les jetons, les prix, le profil des agents et les hypothèses de dérive. Il restitue le coût de base, l’exposition de chaque angle mort et l’exposition totale sur douze mois, c’est-à-dire la perte que l’observabilité peut éviter. Le calculateur simplifie le modèle sur certains postes ; sa page détaille chaque écart.
21. Matrice de priorisation
Section intitulée « 21. Matrice de priorisation »On ne peut pas tout surveiller dès le premier mois. Pour choisir, la méthode place chaque angle mort sur deux axes : est-il bruyant (il finit par lever une erreur visible) ou silencieux ? Quelle est sa gravité ? Le coin en haut à droite, silencieux et grave, est la priorité 1. On y trouve l’hallucination, la dérive de coût et l’empoisonnement d’outil MCP. Les pannes bruyantes comme l’erreur serveur 500 sont déjà couvertes par la supervision classique.
quadrantChart title Priorisation des angles morts x-axis "Bruyant" --> "Silencieux" y-axis "Gravité faible" --> "Gravité critique" quadrant-1 "Priorité 1 : surveiller d'abord" quadrant-2 "Couvert par le monitoring classique" quadrant-3 "À faible enjeu" quadrant-4 "À instrumenter ensuite" "Hallucination": [0.85, 0.9] "Dérive de coût": [0.9, 0.7] "Tool poisoning MCP": [0.8, 0.95] "Boucle d'agent": [0.75, 0.65] "Dérive de qualité": [0.88, 0.6] "Rate-limit fournisseur": [0.25, 0.55] "Erreur serveur 500": [0.15, 0.5] "Latence ponctuelle": [0.3, 0.25]
Pour lundi matin
Section intitulée « Pour lundi matin »Prenez vos propres chiffres de volume et de jetons. Calculez le coût de base mensuel avec les prix de votre contrat. Appliquez ensuite l’hypothèse du prompt qui gonfle de quelques pour cent par mois. Si le résultat sur un an vous surprend, ouvrez le calculateur et préparez la discussion avec la direction financière.
Révisé le 2 octobre 2026 : prix retirés ; l’exemple chiffré est exprimé en tokens et en appels.
Révisé le 25 octobre 2026 : page réécrite pour un public plus large (scénario d’ouverture, images, exemple rédigé en prose), sans changement de fond.