TechniqueExpert11 min de lecture
Partie III. Grille de mesure par composant
Quoi mesurer, pourquoi et ce qu'il en coûte de ne pas le faire : une grille pour chacune des quatre briques, le LLM, le RAG, l'agent et MCP.
Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu la partie I de la méthode.
Une équipe qui démarre se pose presque toujours la même question en réunion : « on a branché OpenTelemetry, qu’est-ce qu’on regarde maintenant ? ». Cette partie y répond brique par brique, comme le carnet d’entretien d’une voiture qui dit quoi contrôler sur le moteur, les freins et les pneus.
Chaque composant a son schéma, puis une grille en trois colonnes : ce qu’on mesure, la décision que cette mesure éclaire et ce qui arrive si on ne la mesure pas. La lettre (S) signale un échec silencieux au sens de la partie I : une défaillance qui ne lève aucune erreur et peut durer des semaines.
8. LLM (la brique inférence)
Section intitulée « 8. LLM (la brique inférence) »L’inférence, c’est le moment où le modèle produit sa réponse. Elle se déroule comme une commande au restaurant. La requête attend d’abord son tour dans une file. Vient ensuite le prefill, où le modèle lit tout le texte d’entrée d’un coup, comme le cuisinier qui lit le bon de commande. Puis le decode, où il écrit la réponse mot à mot ; en streaming, ces mots partent vers l’utilisateur au fur et à mesure. Côté machine, le GPU garde en mémoire un KV cache, une sorte de brouillon de ce qu’il a déjà lu. Il regroupe aussi plusieurs requêtes en lots (batch) pour aller plus vite.
flowchart LR REQ["Requête"] --> QUEUE["File"] --> PREFILL["Prefill"] --> DECODE["Decode (streaming)"] --> RESP["Réponse"] GPU["GPU / KV cache / batch"] -.-> PREFILL GPU -.-> DECODE
Quelques termes de la grille. La latence E2E (de bout en bout) va de l’envoi de la question à la fin de la réponse ; p95 et p99 désignent le temps sous lequel passent 95 % et 99 % des requêtes. DCGM et vLLM sont les sources de mesure côté GPU et côté serveur d’inférence. Les finish_reasons disent pourquoi le modèle s’est arrêté : réponse complète, limite de longueur atteinte, filtre de contenu.
| Quoi | Pourquoi (décision) | Impact si non surveillé |
|---|---|---|
| TTFT, latence E2E (p95, p99) | Tenir le budget de latence perçue | Dégradation non détectée jusqu’aux plaintes |
| Throughput tokens/s, requêtes/s | Dimensionner, autoscaler | Saturation subie, incident de capacité |
| Saturation GPU, KV cache, batch (DCGM, vLLM) | Anticiper la dégradation | (S) Éviction et file montent en silence, puis pic inexpliqué |
Taux d’erreur par error.type | Isoler timeout, rate-limit, content_filter | Diagnostic à l’aveugle, résolution rallongée |
Distribution des finish_reasons | Détecter réponses tronquées ou bloquées | (S) Réponses coupées servies sans alerte |
| Taux de refus | Détecter un changement de comportement | (S) Le produit refuse de plus en plus, sans signal |
| Hallucination, fidélité (éval échantillonnée) | Garantir la justesse | (S) Le système ment avec assurance, risque métier et juridique |
| Dérive des sorties (drift) | Détecter l’évolution lente | (S) Régression invisible sur des semaines |
| Tokens in/out, coût par requête | Gouverner le budget | (S) Facture découverte en fin de mois |
| Taux de hit du cache | Mesurer un levier de coût direct | Surcoût permanent non identifié |
| Gonflement de prompt (tokens in dans le temps) | Détecter la croissance du contexte | (S) Coût et latence dérivent lentement |
Sept lignes sur onze portent la lettre (S). À mon avis, c’est le chiffre à montrer à quiconque pense qu’une sonde de disponibilité suffit pour un LLM.
Un RAG fonctionne comme un documentaliste qui prépare un dossier avant qu’un expert ne réponde. En amont, on découpe les documents en morceaux (le chunking), puis on transforme chaque morceau en une suite de nombres qui résume son sens, un plongement ou embedding. Ces nombres sont rangés dans un index vectoriel. Quand une question arrive, on cherche les morceaux les plus proches par le sens, on les reclasse du plus pertinent au moins pertinent (le reranking) et on les donne au modèle comme contexte pour qu’il rédige sa réponse.
flowchart LR ING["Ingestion"] --> CHUNK["Chunking"] --> EMB["Embedding"] --> IDX["Index vectoriel"] Q["Question"] --> RET["Recherche"] --> RANK["Reranking"] --> CTX["Contexte"] --> GEN["Génération"] --> ANS["Réponse"] IDX --> RET
Le documentaliste peut se tromper de deux façons que la grille distingue. La context precision mesure si les morceaux apportés sont pertinents : le dossier contient-il des pages hors sujet ? Le context recall mesure s’il manque des morceaux nécessaires : le dossier est-il complet ? Le hit rate et le MRR (mean reciprocal rank) regardent si le bon document remonte et à quel rang. La fidélité, ou groundedness, vérifie que la réponse s’appuie sur le dossier plutôt que sur l’imagination du modèle.
| Quoi | Pourquoi (décision) | Impact si non surveillé |
|---|---|---|
| Context precision | Les chunks remontés sont-ils pertinents ? | (S) Contexte hors sujet, hallucination en aval |
| Context recall | A-t-on remonté tout le nécessaire ? | (S) Réponses incomplètes ou inventées |
| Hit rate, MRR | Le bon document remonte-t-il et bien classé ? | On corrige à tort la génération |
| Fidélité / groundedness | Réponse appuyée sur le contexte | (S) Hallucinations servies comme des faits |
| Pertinence de la réponse | Répond-elle à la question ? | Réponses à côté non détectées |
| Exactitude des citations | Sources citées correctes | (S) Fausses références, risque de conformité |
| Couverture (questions sans contexte) | Mesurer les lacunes de la base | (S) Angle mort documentaire qui s’élargit |
| Fraîcheur de la base | Connaissance non périmée | (S) Réponses obsolètes servies avec assurance |
| Latence de recherche, santé de l’index | Tenir le budget de la chaîne | Dégradation mal attribuée |
| Coût embeddings et base vectorielle | Gouverner le coût | Surcoût d’infrastructure non maîtrisé |
La ligne « Hit rate, MRR » mérite qu’on s’y arrête. Sans elle, une équipe voit des réponses fausses et retouche le prompt ou change de modèle, alors que le problème vient de la recherche. C’est le piège qui guette l’équipe de l’assistant RH du scénario de la partie I.
Pour évaluer, RAGAS et DeepEval servent à bloquer une mise en production qui fait baisser la qualité (le gating). Arize Phoenix sert à suivre la dérive et à visualiser les groupes de plongements. Ces outils s’appuient souvent sur un autre modèle qui joue le rôle de juge. Ce juge a ses propres défauts : il n’est pas déterministe, il dérive, il doit être calibré. La section 15 traite ce problème de l’évaluateur.
10. Agent
Section intitulée « 10. Agent »Un agent ressemble à un stagiaire à qui l’on confie une mission et une boîte à outils. Il planifie, choisit un outil, l’utilise, regarde le résultat, puis décide s’il a fini ou s’il recommence. Ce cycle est sa force et son risque : un stagiaire qui ne sait pas s’arrêter refait la même démarche vingt fois. Dans les conventions OpenTelemetry, l’appel de l’agent s’appelle invoke_agent et chaque utilisation d’outil execute_tool. La suite des étapes forme sa trajectoire.
flowchart TB
START["invoke_agent"] --> PLAN["Planification"] --> SEL["Sélection d'outil"] --> TOOL["execute_tool"] --> OBS["Observation"]
OBS --> DEC{"Tâche terminée ?"}
DEC -->|"non"| SEL
DEC -->|"oui"| END["Réponse finale"]
DEC -.->|"risque : boucle"| LOOP["Détection de boucle"]
| Quoi | Pourquoi (décision) | Impact si non surveillé |
|---|---|---|
| Taux de succès de tâche | Mesurer le travail réel de bout en bout | (S) Échec partiel sans erreur, valeur produit érodée |
| Nombre d’étapes par tâche | Détecter les trajectoires anormales | (S) Dérive de coût et latence par allongement |
| Détection de boucle | Repérer la répétition | (S) Boucle qui brûle le budget, vue sur facture |
| Taux d’échec d’outil | Identifier les outils défaillants | Retries coûteux, cause non isolée |
| Latence par étape et par tâche | Décomposer le bout en bout | Diagnostic impossible sur trajectoire longue |
| Coût par tâche (tokens cumulés) | Connaître le coût réel d’une tâche | (S) Tarification erronée |
| Exactitude de sélection d’outil | Le bon outil au bon moment | (S) Résultats dégradés sans signal |
| Taux de passage à l’humain | Mesurer l’autonomie réelle | Charge opérateur sous-estimée, ROI faussé |
| Garde-fous, tentatives d’injection | Sécurité agentique | Injection de commande non détectée |
Je recommande de commencer par le taux de succès de tâche et le nombre d’étapes par tâche. Le premier dit si l’agent rend le service promis ; le second voit venir les boucles avant la facture.
Côté outils, Laminar et Langfuse servent à relire la transcription d’un agent et à le déboguer. Phoenix et Confident AI évaluent les parcours en plusieurs étapes. LangSmith et LangGraph Studio conviennent si l’agent est construit avec LangGraph.
MCP (Model Context Protocol) est la prise standard qui permet à un agent de brancher des outils : un serveur MCP expose des fonctions (lire un fichier, interroger une base, envoyer un message) que le modèle peut appeler. On l’observe sur trois couches. La couche protocole couvre les messages JSON-RPC échangés, les sessions et les schémas qui décrivent chaque outil. La couche exécution couvre les appels eux-mêmes, leur latence et leurs erreurs. La couche tâche mesure l’effet sur le succès de l’agent. Comme pour les couches de la partie I, un défaut en bas remonte en haut.
flowchart TB P["Couche protocole : JSON-RPC sur transport, sessions, schémas"] --> T["Couche exécution : appels d'outils, latence, erreurs"] --> A["Couche tâche : impact sur le succès de l'agent"] A -.->|"cascade"| P
La grille parle d’attaques propres à MCP. Un rug pull, c’est un serveur de confiance qui change son comportement après qu’on l’a adopté, comme un fournisseur qui livre une autre marchandise une fois le contrat signé. Le schema poisoning glisse des consignes malveillantes dans la description d’un outil. L’épinglage par hachage consiste à enregistrer l’empreinte d’un outil au moment où on l’approuve, pour détecter toute modification ultérieure. Une desync est une désynchronisation entre client et serveur sur l’état de la session.
| Quoi | Pourquoi (décision) | Impact si non surveillé |
|---|---|---|
| Latence et erreurs par outil et serveur | Santé d’exécution, isolement | Défaillance mal attribuée à l’agent |
| Santé de session, desync client-serveur | Stabilité du transport | (S) Desync qui dégrade l’agent sans erreur |
| Échecs d’authentification par identité | Détecter abus et mauvaise config | Accès illégitime, exposition de secrets |
| Pics d’énumération / découverte | Détecter la reconnaissance hostile | (S) Reconnaissance invisible avant exploitation |
| Mutations de serveur | Détecter rug pull et schema poisoning | (S) Outil de confiance devenu malveillant |
| Épinglage d’outil par hachage | Intégrité des outils dans le temps | (S) Modification non détectée |
| Journal des invocations | Piste d’audit réglementaire | Aucune traçabilité, non-conformité |
| Disponibilité par serveur, health checks | Garantir le repli | Agent qui boucle sur serveur indisponible |
La sécurité de MCP
Section intitulée « La sécurité de MCP »Le référentiel OWASP MCP Top 10 (édition 2025, en version bêta) définit dix catégories de risques :
- MCP01 mauvaise gestion des jetons et exposition de secrets ;
- MCP02 escalade de privilèges par élargissement de périmètre ;
- MCP03 empoisonnement d’outil (tool poisoning) ;
- MCP04 attaques de la chaîne d’approvisionnement logicielle ;
- MCP05 injection et exécution de commandes ;
- MCP06 injection de prompt par contenu contextuel ;
- MCP07 authentification et autorisation insuffisantes ;
- MCP08 manque d’audit et de journalisation ;
- MCP09 serveurs MCP fantômes ;
- MCP10 injection de contexte et surexposition.
Rug pull, tool shadowing (un outil qui se fait passer pour un autre) et schema poisoning sont des techniques d’attaque décrites dans la littérature. Elles relèvent surtout de MCP03 et ne sont pas des catégories du référentiel. La grille ci-dessus répond directement à MCP08.
Reste l’auto-approbation, qui laisse l’agent appeler ses outils sans demander l’avis de personne. Elle retire la dernière barrière qui ne dépend pas du modèle. Le banc d’essai MCPTox (2025) a soumis 20 agents LLM à 1 348 cas d’empoisonnement d’outils construits sur 45 serveurs MCP réels. L’attaque réussit en moyenne dans 36,5 % des cas, jusqu’à 72,8 % pour le modèle le plus exposé ; aucun modèle ne refuse plus de 3 % des attaques. Ce banc mesure la sensibilité des modèles, pas l’effet d’une validation humaine. Je recommande néanmoins de garder un humain dans la boucle pour les outils sensibles, parce que cette validation ne repose pas sur le jugement du modèle attaqué.
Côté outils, mcp-scan (Invariant Labs / Snyk) et Cisco mcp-scanner (YARA) sont complémentaires. On y ajoute une passerelle MCP, un point de passage obligé entre agents et serveurs, avec audit et export OTel.
Pour lundi matin
Section intitulée « Pour lundi matin »Prenez la brique que vous exploitez déjà et comptez dans sa grille les lignes marquées (S) que vous ne mesurez pas. Commencez par celle dont l’impact vous ferait le plus mal en comité. Si vous avez des agents branchés sur MCP, ajoutez le journal des invocations dès maintenant : c’est la ligne qui coûte le moins et qui vous protège le plus le jour d’un audit.
Révisé le 2 octobre 2026 : catégories officielles de l’OWASP MCP Top 10 (édition 2025, en version bêta) et chiffres du banc d’essai MCPTox à la place d’une affirmation non sourcée sur l’auto-approbation.
Révisé le 25 octobre 2026 : page réécrite pour un public plus large (images d’introduction, termes des grilles expliqués), sans changement de fond.