Aller au contenu

TechniqueExpert11 min de lecture

Partie III. Grille de mesure par composant

Quoi mesurer, pourquoi et ce qu'il en coûte de ne pas le faire : une grille pour chacune des quatre briques, le LLM, le RAG, l'agent et MCP.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu la partie I de la méthode.

Une équipe qui démarre se pose presque toujours la même question en réunion : « on a branché OpenTelemetry, qu’est-ce qu’on regarde maintenant ? ». Cette partie y répond brique par brique, comme le carnet d’entretien d’une voiture qui dit quoi contrôler sur le moteur, les freins et les pneus.

Chaque composant a son schéma, puis une grille en trois colonnes : ce qu’on mesure, la décision que cette mesure éclaire et ce qui arrive si on ne la mesure pas. La lettre (S) signale un échec silencieux au sens de la partie I : une défaillance qui ne lève aucune erreur et peut durer des semaines.

L’inférence, c’est le moment où le modèle produit sa réponse. Elle se déroule comme une commande au restaurant. La requête attend d’abord son tour dans une file. Vient ensuite le prefill, où le modèle lit tout le texte d’entrée d’un coup, comme le cuisinier qui lit le bon de commande. Puis le decode, où il écrit la réponse mot à mot ; en streaming, ces mots partent vers l’utilisateur au fur et à mesure. Côté machine, le GPU garde en mémoire un KV cache, une sorte de brouillon de ce qu’il a déjà lu. Il regroupe aussi plusieurs requêtes en lots (batch) pour aller plus vite.

flowchart LR
  REQ["Requête"] --> QUEUE["File"] --> PREFILL["Prefill"] --> DECODE["Decode (streaming)"] --> RESP["Réponse"]
  GPU["GPU / KV cache / batch"] -.-> PREFILL
  GPU -.-> DECODE

Quelques termes de la grille. La latence E2E (de bout en bout) va de l’envoi de la question à la fin de la réponse ; p95 et p99 désignent le temps sous lequel passent 95 % et 99 % des requêtes. DCGM et vLLM sont les sources de mesure côté GPU et côté serveur d’inférence. Les finish_reasons disent pourquoi le modèle s’est arrêté : réponse complète, limite de longueur atteinte, filtre de contenu.

QuoiPourquoi (décision)Impact si non surveillé
TTFT, latence E2E (p95, p99)Tenir le budget de latence perçueDégradation non détectée jusqu’aux plaintes
Throughput tokens/s, requêtes/sDimensionner, autoscalerSaturation subie, incident de capacité
Saturation GPU, KV cache, batch (DCGM, vLLM)Anticiper la dégradation(S) Éviction et file montent en silence, puis pic inexpliqué
Taux d’erreur par error.typeIsoler timeout, rate-limit, content_filterDiagnostic à l’aveugle, résolution rallongée
Distribution des finish_reasonsDétecter réponses tronquées ou bloquées(S) Réponses coupées servies sans alerte
Taux de refusDétecter un changement de comportement(S) Le produit refuse de plus en plus, sans signal
Hallucination, fidélité (éval échantillonnée)Garantir la justesse(S) Le système ment avec assurance, risque métier et juridique
Dérive des sorties (drift)Détecter l’évolution lente(S) Régression invisible sur des semaines
Tokens in/out, coût par requêteGouverner le budget(S) Facture découverte en fin de mois
Taux de hit du cacheMesurer un levier de coût directSurcoût permanent non identifié
Gonflement de prompt (tokens in dans le temps)Détecter la croissance du contexte(S) Coût et latence dérivent lentement

Sept lignes sur onze portent la lettre (S). À mon avis, c’est le chiffre à montrer à quiconque pense qu’une sonde de disponibilité suffit pour un LLM.

Un RAG fonctionne comme un documentaliste qui prépare un dossier avant qu’un expert ne réponde. En amont, on découpe les documents en morceaux (le chunking), puis on transforme chaque morceau en une suite de nombres qui résume son sens, un plongement ou embedding. Ces nombres sont rangés dans un index vectoriel. Quand une question arrive, on cherche les morceaux les plus proches par le sens, on les reclasse du plus pertinent au moins pertinent (le reranking) et on les donne au modèle comme contexte pour qu’il rédige sa réponse.

flowchart LR
  ING["Ingestion"] --> CHUNK["Chunking"] --> EMB["Embedding"] --> IDX["Index vectoriel"]
  Q["Question"] --> RET["Recherche"] --> RANK["Reranking"] --> CTX["Contexte"] --> GEN["Génération"] --> ANS["Réponse"]
  IDX --> RET

Le documentaliste peut se tromper de deux façons que la grille distingue. La context precision mesure si les morceaux apportés sont pertinents : le dossier contient-il des pages hors sujet ? Le context recall mesure s’il manque des morceaux nécessaires : le dossier est-il complet ? Le hit rate et le MRR (mean reciprocal rank) regardent si le bon document remonte et à quel rang. La fidélité, ou groundedness, vérifie que la réponse s’appuie sur le dossier plutôt que sur l’imagination du modèle.

QuoiPourquoi (décision)Impact si non surveillé
Context precisionLes chunks remontés sont-ils pertinents ?(S) Contexte hors sujet, hallucination en aval
Context recallA-t-on remonté tout le nécessaire ?(S) Réponses incomplètes ou inventées
Hit rate, MRRLe bon document remonte-t-il et bien classé ?On corrige à tort la génération
Fidélité / groundednessRéponse appuyée sur le contexte(S) Hallucinations servies comme des faits
Pertinence de la réponseRépond-elle à la question ?Réponses à côté non détectées
Exactitude des citationsSources citées correctes(S) Fausses références, risque de conformité
Couverture (questions sans contexte)Mesurer les lacunes de la base(S) Angle mort documentaire qui s’élargit
Fraîcheur de la baseConnaissance non périmée(S) Réponses obsolètes servies avec assurance
Latence de recherche, santé de l’indexTenir le budget de la chaîneDégradation mal attribuée
Coût embeddings et base vectorielleGouverner le coûtSurcoût d’infrastructure non maîtrisé

La ligne « Hit rate, MRR » mérite qu’on s’y arrête. Sans elle, une équipe voit des réponses fausses et retouche le prompt ou change de modèle, alors que le problème vient de la recherche. C’est le piège qui guette l’équipe de l’assistant RH du scénario de la partie I.

Pour évaluer, RAGAS et DeepEval servent à bloquer une mise en production qui fait baisser la qualité (le gating). Arize Phoenix sert à suivre la dérive et à visualiser les groupes de plongements. Ces outils s’appuient souvent sur un autre modèle qui joue le rôle de juge. Ce juge a ses propres défauts : il n’est pas déterministe, il dérive, il doit être calibré. La section 15 traite ce problème de l’évaluateur.

Un agent ressemble à un stagiaire à qui l’on confie une mission et une boîte à outils. Il planifie, choisit un outil, l’utilise, regarde le résultat, puis décide s’il a fini ou s’il recommence. Ce cycle est sa force et son risque : un stagiaire qui ne sait pas s’arrêter refait la même démarche vingt fois. Dans les conventions OpenTelemetry, l’appel de l’agent s’appelle invoke_agent et chaque utilisation d’outil execute_tool. La suite des étapes forme sa trajectoire.

flowchart TB
  START["invoke_agent"] --> PLAN["Planification"] --> SEL["Sélection d'outil"] --> TOOL["execute_tool"] --> OBS["Observation"]
  OBS --> DEC{"Tâche terminée ?"}
  DEC -->|"non"| SEL
  DEC -->|"oui"| END["Réponse finale"]
  DEC -.->|"risque : boucle"| LOOP["Détection de boucle"]
QuoiPourquoi (décision)Impact si non surveillé
Taux de succès de tâcheMesurer le travail réel de bout en bout(S) Échec partiel sans erreur, valeur produit érodée
Nombre d’étapes par tâcheDétecter les trajectoires anormales(S) Dérive de coût et latence par allongement
Détection de boucleRepérer la répétition(S) Boucle qui brûle le budget, vue sur facture
Taux d’échec d’outilIdentifier les outils défaillantsRetries coûteux, cause non isolée
Latence par étape et par tâcheDécomposer le bout en boutDiagnostic impossible sur trajectoire longue
Coût par tâche (tokens cumulés)Connaître le coût réel d’une tâche(S) Tarification erronée
Exactitude de sélection d’outilLe bon outil au bon moment(S) Résultats dégradés sans signal
Taux de passage à l’humainMesurer l’autonomie réelleCharge opérateur sous-estimée, ROI faussé
Garde-fous, tentatives d’injectionSécurité agentiqueInjection de commande non détectée

Je recommande de commencer par le taux de succès de tâche et le nombre d’étapes par tâche. Le premier dit si l’agent rend le service promis ; le second voit venir les boucles avant la facture.

Côté outils, Laminar et Langfuse servent à relire la transcription d’un agent et à le déboguer. Phoenix et Confident AI évaluent les parcours en plusieurs étapes. LangSmith et LangGraph Studio conviennent si l’agent est construit avec LangGraph.

MCP (Model Context Protocol) est la prise standard qui permet à un agent de brancher des outils : un serveur MCP expose des fonctions (lire un fichier, interroger une base, envoyer un message) que le modèle peut appeler. On l’observe sur trois couches. La couche protocole couvre les messages JSON-RPC échangés, les sessions et les schémas qui décrivent chaque outil. La couche exécution couvre les appels eux-mêmes, leur latence et leurs erreurs. La couche tâche mesure l’effet sur le succès de l’agent. Comme pour les couches de la partie I, un défaut en bas remonte en haut.

flowchart TB
  P["Couche protocole : JSON-RPC sur transport, sessions, schémas"] --> T["Couche exécution : appels d'outils, latence, erreurs"] --> A["Couche tâche : impact sur le succès de l'agent"]
  A -.->|"cascade"| P

La grille parle d’attaques propres à MCP. Un rug pull, c’est un serveur de confiance qui change son comportement après qu’on l’a adopté, comme un fournisseur qui livre une autre marchandise une fois le contrat signé. Le schema poisoning glisse des consignes malveillantes dans la description d’un outil. L’épinglage par hachage consiste à enregistrer l’empreinte d’un outil au moment où on l’approuve, pour détecter toute modification ultérieure. Une desync est une désynchronisation entre client et serveur sur l’état de la session.

QuoiPourquoi (décision)Impact si non surveillé
Latence et erreurs par outil et serveurSanté d’exécution, isolementDéfaillance mal attribuée à l’agent
Santé de session, desync client-serveurStabilité du transport(S) Desync qui dégrade l’agent sans erreur
Échecs d’authentification par identitéDétecter abus et mauvaise configAccès illégitime, exposition de secrets
Pics d’énumération / découverteDétecter la reconnaissance hostile(S) Reconnaissance invisible avant exploitation
Mutations de serveurDétecter rug pull et schema poisoning(S) Outil de confiance devenu malveillant
Épinglage d’outil par hachageIntégrité des outils dans le temps(S) Modification non détectée
Journal des invocationsPiste d’audit réglementaireAucune traçabilité, non-conformité
Disponibilité par serveur, health checksGarantir le repliAgent qui boucle sur serveur indisponible

Le référentiel OWASP MCP Top 10 (édition 2025, en version bêta) définit dix catégories de risques :

  • MCP01 mauvaise gestion des jetons et exposition de secrets ;
  • MCP02 escalade de privilèges par élargissement de périmètre ;
  • MCP03 empoisonnement d’outil (tool poisoning) ;
  • MCP04 attaques de la chaîne d’approvisionnement logicielle ;
  • MCP05 injection et exécution de commandes ;
  • MCP06 injection de prompt par contenu contextuel ;
  • MCP07 authentification et autorisation insuffisantes ;
  • MCP08 manque d’audit et de journalisation ;
  • MCP09 serveurs MCP fantômes ;
  • MCP10 injection de contexte et surexposition.

Rug pull, tool shadowing (un outil qui se fait passer pour un autre) et schema poisoning sont des techniques d’attaque décrites dans la littérature. Elles relèvent surtout de MCP03 et ne sont pas des catégories du référentiel. La grille ci-dessus répond directement à MCP08.

Reste l’auto-approbation, qui laisse l’agent appeler ses outils sans demander l’avis de personne. Elle retire la dernière barrière qui ne dépend pas du modèle. Le banc d’essai MCPTox (2025) a soumis 20 agents LLM à 1 348 cas d’empoisonnement d’outils construits sur 45 serveurs MCP réels. L’attaque réussit en moyenne dans 36,5 % des cas, jusqu’à 72,8 % pour le modèle le plus exposé ; aucun modèle ne refuse plus de 3 % des attaques. Ce banc mesure la sensibilité des modèles, pas l’effet d’une validation humaine. Je recommande néanmoins de garder un humain dans la boucle pour les outils sensibles, parce que cette validation ne repose pas sur le jugement du modèle attaqué.

Côté outils, mcp-scan (Invariant Labs / Snyk) et Cisco mcp-scanner (YARA) sont complémentaires. On y ajoute une passerelle MCP, un point de passage obligé entre agents et serveurs, avec audit et export OTel.

Prenez la brique que vous exploitez déjà et comptez dans sa grille les lignes marquées (S) que vous ne mesurez pas. Commencez par celle dont l’impact vous ferait le plus mal en comité. Si vous avez des agents branchés sur MCP, ajoutez le journal des invocations dès maintenant : c’est la ligne qui coûte le moins et qui vous protège le plus le jour d’un audit.


Révisé le 2 octobre 2026 : catégories officielles de l’OWASP MCP Top 10 (édition 2025, en version bêta) et chiffres du banc d’essai MCPTox à la place d’une affirmation non sourcée sur l’auto-approbation.

Révisé le 25 octobre 2026 : page réécrite pour un public plus large (images d’introduction, termes des grilles expliqués), sans changement de fond.