Aller au contenu

Expert5 min de lecture

Annexes

Les pages de référence de la méthode : récapitulatif des métriques, outils propres à la méthode, termes propres à la méthode et façon de construire une table de prix datée.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir parcouru les parties de la méthode.

Ces annexes se consultent comme l’index d’un manuel, au moment où l’on en a besoin. La première résume sur une page les métriques des grilles de la partie III, la dernière aide à construire la table de prix que demandent les règles de coût.

Annexe A. Récapitulatif des métriques par composant et par axe

Section intitulée « Annexe A. Récapitulatif des métriques par composant et par axe »

Le tableau croise les quatre briques avec trois des quatre axes de la partie I. La compliance n’y figure pas : elle s’appuie sur ces mêmes signaux, comme le montre la matrice de la partie VI.

ComposantFiabilitéDisponibilitéCoût
LLMfinish_reasons, taux refus, hallucination, dériveTTFT, latence E2E, taux erreur, saturation GPU et KV cachetokens in/out, coût par requête, hit cache
RAGcontext precision et recall, fidélité, pertinence, couverturelatence recherche, santé index, fraîcheur basecoût embeddings, coût base vectorielle, reranking
Agentsuccès de tâche, sélection d’outil, planification, garde-fouslatence par étape et par tâche, taux échec outilnombre d’étapes, coût par tâche, détection boucle
MCPmutations serveur, tool poisoning, échecs auth, injectionsdisponibilité serveur, santé session, latence outilrate-limiting invocations

Le paysage des outils (auto-hébergement ou service géré, stack de référence, critères de choix, licences) est décrit au chapitre 6 du guide. La méthode cite en plus quelques outils absents de ce chapitre. Pour la sécurité MCP : mcp-scan, Cisco mcp-scanner et une passerelle MCP avec audit. Pour les métriques GPU : l’exportateur DCGM. Pour les métriques d’inférence : les métriques Prometheus de vLLM et de TGI. Pour l’évaluation : les plateformes Laminar et Confident AI. Pour le suivi du coût multi-fournisseur : Helicone.

Les termes généraux (TTFT, fidélité, LLM juge, golden set, burn rate, borne de Wilson, tool poisoning, défaillance silencieuse, OTLP) sont définis dans le glossaire du site. Restent ici ceux qu’il ne couvre pas.

TPOT (time per output token) : temps moyen par token de sortie après le premier, calculé par requête. C’est (latence totale moins TTFT) divisée par (tokens de sortie moins un). Pour un lecteur, c’est la vitesse à laquelle le texte défile une fois qu’il a commencé à s’afficher.

ITL (inter-token latency) : délai entre deux tokens consécutifs, mesuré pour chaque paire. On en suit la distribution (p95, p99) pour voir les saccades que la moyenne du TPOT lisse.

KV cache : cache clé-valeur du serveur d’inférence, déterminant pour la latence.

Context precision et recall : qualité de la recherche dans un RAG, la première mesurant la part de passages pertinents parmi ceux remontés, le second la part de passages nécessaires effectivement remontés.

Rug pull : mise à jour malveillante d’un outil MCP de confiance.

Tool shadowing : faux outil qui duplique un outil légitime.

Spanmetrics : dérivation de métriques à partir des spans, au collecteur OTel.

Les prix des modèles changent souvent. Ils dépendent du fournisseur, de la région, du mode d’appel (synchrone, par lot) et du cache. Ils varient aussi selon les contrats. Ce guide n’en donne donc aucun : utilisez la grille datée de votre fournisseur. Je recommande de construire votre propre table et de la versionner comme du code, avec les champs suivants.

ChampContenu
Modèleidentifiant exact, tel qu’il apparaît dans gen_ai.request.model
Fournisseurvaleur de gen_ai.provider.name
Prix entréepar million de tokens
Prix sortiepar million de tokens
Prix entrée lue en cachesi le fournisseur facture à part la lecture d’un cache de prompt
Devisedevise de la grille ; en cas de conversion, taux et date du taux
SourceURL de la grille officielle du fournisseur ou référence du contrat
Date de relevéjour où le prix a été vérifié
Date d’effetà partir de quand le prix s’applique, pour recalculer le passé avec le bon prix

La date d’effet compte plus qu’il n’y paraît. Sans elle, quand un prix baisse, on recalcule tout l’historique au nouveau prix et les coûts passés deviennent faux.

Voici un gabarit à remplir avec la grille datée de votre fournisseur.

ModèleFournisseurEntrée (€ / M tokens)Sortie (€ / M tokens)DeviseSourceDate de relevé
demo-llm (grand modèle)fournisseur-aà renseignerà renseignerEURà renseignerà renseigner
demo-llm-small (petit modèle)fournisseur-aà renseignerà renseignerEURà renseignerà renseigner

Pour les règles de coût, il faut convertir : un prix de P € par million de tokens fait P x 1e-6 € par token. Un job relit la table et publie les séries price_in_eur_per_token et price_out_eur_per_token utilisées par les recording rules de la partie II. Les mêmes valeurs servent de paramètres au calculateur d’exposition.


Révisé le 2 octobre 2026 : prix retirés de l’annexe D, remplacés par un gabarit à remplir.

Révisé le 4 octobre 2026 : l’annexe B renvoie au chapitre 6 du guide et ne garde que les outils qu’il ne cite pas ; l’annexe C renvoie au glossaire du site et ne garde que les termes propres à la méthode ; l’annexe D, qui ne contient aucun prix, est conservée.

Révisé le 25 octobre 2026 : page réécrite pour un public plus large (introduction, termes et listes rédigés en prose), sans changement de fond.