Aller au contenu

TechniqueExpert11 min de lecture

Partie I. Le cadre

Pourquoi une application d'IA générative tombe en panne sans bruit, le cadre en quatre dimensions qui structure la méthode, les cinq signaux et leur stockage, la base OpenTelemetry GenAI et la règle de capture du contenu.

Pour : ingénieurs et SRE · architectesPrérequis : Notions de base sur les métriques, les traces et OpenTelemetry.

Prenons un scénario illustratif. Une entreprise a mis en ligne un assistant qui répond aux questions des salariés sur leurs congés et leur mutuelle. Un lundi, l’équipe remplace la base documentaire par une version réorganisée. Rien ne casse : chaque requête reçoit une réponse en moins de deux secondes, le taux d’erreur reste à zéro, les tableaux de bord sont verts. Trois semaines plus tard, le service RH remarque que les salariés l’appellent plus souvent qu’avant. L’assistant répond toujours, mais à côté : il cite l’ancien accord d’entreprise ou invente une règle qui n’existe pas.

L’observabilité classique a été pensée pour des pannes qui font du bruit, comme une alarme incendie : une page d’erreur (le code HTTP 500), un délai dépassé, un programme qui s’arrête. Les systèmes construits autour d’un LLM (un grand modèle de langage, le moteur qui génère le texte) tombent en panne autrement. Leurs trois défaillances les plus fréquentes ne déclenchent aucune alarme.

La qualité se dégrade sans qu’aucune erreur ne remonte. Le modèle hallucine (il affirme avec aplomb quelque chose de faux), répond à moitié ou dérive lentement au fil des semaines.

Le coût dérive sans alerte. Le prompt, c’est-à-dire le texte envoyé au modèle, grossit à chaque version. Un agent, un programme qui enchaîne lui-même des appels au modèle et à des outils, tourne en boucle et consomme des jetons, l’unité dans laquelle les fournisseurs facturent le texte traité.

La sécurité est compromise au niveau du sens, pas du réseau. Un outil empoisonné (tool poisoning) glisse des consignes cachées dans sa description, une injection de prompt détourne le modèle avec du texte malveillant. Aucun pare-feu ne voit passer d’attaque.

Le modèle de la défaillance silencieuse tient en une phrase. Pour tout signal qu’on ne mesure pas, la bonne question n’est pas « le service tombe-t-il ? » mais « pendant combien de temps la défaillance s’accumule-t-elle avant qu’on la voie ? ». Dans le scénario, la réponse est trois semaines. À mon avis, la valeur d’un dispositif d’observabilité GenAI se juge à sa capacité à rendre visible ce silence. Toute la suite de la méthode en découle et la partie V chiffre ce que coûte ce délai.

Pour décider quoi mesurer, la méthode range chaque signal selon quatre dimensions. On peut les voir comme les colonnes d’une fiche qu’on remplit pour chaque mesure : où le signal naît, à quoi il sert, quelles questions il doit passer avant d’être retenu, à quel stade de maturité il devient utile.

flowchart TB
  subgraph D1["Dimension 1 : les 4 couches (où se produit le signal)"]
    L1["Infrastructure : GPU, réseau, base vectorielle, serveur MCP"]
    L2["Modèle / inférence : latence, tokens, saturation"]
    L3["Application : RAG, prompt, orchestration, garde-fous"]
    L4["Agent / tâche : trajectoire, outils, succès de bout en bout"]
    L1 --> L2 --> L3 --> L4
  end
  subgraph D2["Dimension 2 : les 4 axes (pourquoi on surveille)"]
    A1["Fiabilité"]
    A2["Disponibilité"]
    A3["Coût"]
    A4["Compliance"]
  end
  subgraph D3["Dimension 3 : les 5 questions (par signal)"]
    Q["Quoi -> Pourquoi -> Comment -> Seuil -> Impact si absent"]
  end
  subgraph D4["Dimension 4 : la maturité (niveaux 0 à 5 du guide)"]
    M["0. Aveugle -> 1. Signaux de base -> 2. Traçage -> 3. Évaluation en ligne -> 4. Dérive et retours -> 5. Boucle fermée"]
  end
  D1 --> D2 --> D3 --> D4

Tout signal appartient à une couche, de l’infrastructure (les cartes graphiques ou GPU, le réseau, la base vectorielle qui sert à retrouver des documents par le sens, le serveur MCP qui expose des outils au modèle) jusqu’à la tâche que l’agent doit accomplir.

Ces couches se comportent comme les étages d’un immeuble où une fuite au deuxième finit par tacher le plafond du quatrième. C’est la règle de la cascade : une défaillance en bas remonte sous forme de symptôme en haut. Dans l’exemple ci-dessous, le fournisseur limite le nombre d’appels autorisés (un rate-limit) à 10 h 47. Le code réessaie, la latence monte, puis le taux de tâches réussies s’effondre. Pour redescendre du symptôme à la cause, il faut un fil commun entre les couches : le trace_id, l’identifiant unique qui suit la requête d’un bout à l’autre. Sans lui, on observe des symptômes sans cause.

flowchart LR
  C2["Couche 2 : rate-limit fournisseur à 10h47"] --> C3["Couche 3 : retries, latence prompt"] --> C4["Couche 4 : taux de succès de tâche en chute"]
  C4 -.->|"diagnostic descendant via trace_id"| C2

Le site décrit ailleurs la pile d’une application d’IA générative en cinq couches, dans L’IA en coupe : données, infrastructure, modèle, orchestration, application. Les quatre couches de la méthode ne s’y superposent pas exactement. Le mot « application » en particulier ne désigne pas la même chose des deux côtés. Le tableau ci-dessous donne la correspondance.

Couche de la méthodeCouche(s) de L’IA en coupe
1. Infrastructure : GPU, réseau, base vectorielle, serveur MCPinfrastructure (GPU, réseau, serveurs) ; le contenu indexé de la base vectorielle relève des données ; les outils exposés par un serveur MCP sont appelés depuis l’orchestration
2. Modèle / inférence : latence, tokens, saturationmodèle, à sa frontière avec l’infrastructure : le TTFT, les jetons par seconde et la saturation se mesurent au serveur d’inférence, que le schéma range dans l’infrastructure
3. Application : RAG, prompt, orchestration, garde-fousorchestration (prompts, recherche documentaire) ; les garde-fous en sortie touchent aussi la couche application (violations de politique, données personnelles en sortie)
4. Agent / tâche : trajectoire, outils, succès de bout en boutorchestration pour la trajectoire et les appels d’outils ; application pour le succès perçu par l’utilisateur
pas de couche dédiéedonnées : fraîcheur et couverture des sources, distribution des entrées, que la méthode traite dans la grille RAG de la partie III

Quelques sigles du tableau : le TTFT (time to first token) est le délai avant que le premier mot de la réponse n’apparaisse. Le RAG (retrieval-augmented generation) consiste à aller chercher des documents pertinents avant de demander au modèle de répondre. Les garde-fous sont les filtres qui bloquent une entrée ou une sortie interdite.

Les axes disent pourquoi on surveille : la fiabilité (la réponse est-elle juste ?), la disponibilité (le service répond-il ?), le coût et la compliance, c’est-à-dire la conformité aux règles internes et à la réglementation. Les grilles de la partie III lisent chaque composant selon ces quatre axes.

Avant d’ajouter un signal, on lui fait passer un petit entretien d’embauche en cinq questions. Je recommande de ne jamais instrumenter sans avoir une réponse à « pourquoi » et à « impact si absent » : un signal qui n’éclaire aucune décision n’est que du bruit sur la facture.

QuestionCe qu’elle établit
QuoiLe signal précis : métrique, trace, score, événement
PourquoiLa décision qu’il éclaire. Un signal sans décision est du bruit
CommentLa source et l’instrument : attribut OTel, exportateur, évaluateur
SeuilLe SLI et le SLO, donc le déclenchement d’alerte
Impact si absentLa défaillance qui s’accumule sans ce signal et sa gravité

Le SLI (service level indicator) est la mesure qu’on suit, par exemple la part de réponses jugées correctes. Le SLO (service level objective) est la promesse chiffrée qu’on se fixe sur cette mesure, par exemple 95 %. La partie IV y est consacrée.

La maturité ressemble aux ceintures d’un art martial : on ne saute pas de la blanche à la noire. La méthode avait sa propre échelle en cinq niveaux (Logging, Traçage, Évaluation, Monitoring, Boucle fermée). Le site n’en garde qu’une, celle du guide, chapitre 3, en six niveaux de 0 à 5. Le tableau fait la correspondance.

Niveau du guideCe qui le caractériseAncien niveau de la méthode
0. Exploitation à l’aveuglemétriques HTTP seulement ; coût découvert sur la facture, qualité par les réclamationsaucun : l’échelle de la méthode commençait à la journalisation
1. Signaux de basejournaux structurés par requête (prompt, réponse, modèle, jetons, latence), coût agrégé, erreurs en métriques1. Logging
2. Traçage structuréconventions OpenTelemetry GenAI, un span par étape logique, attributs interrogeables2. Traçage
3. Évaluation en ligneévaluations automatiques rattachées aux traces et exposées en métriques, régressions de qualité alertables3. Évaluation
4. Dérive et intégration des retoursdérive des plongements, qualité du RAG en lot, retours utilisateurs corrélés aux traces4. Monitoring (correspondance approchée : la méthode ne détaillait pas ce niveau)
5. Boucle ferméeles traces en échec deviennent des cas de non-régression, changements conditionnés au jeu de non-régression5. Boucle fermée

Les SLO de qualité de la partie IV supposent au moins le niveau 3. Sans évaluation en ligne, c’est-à-dire sans notation automatique d’une partie des réponses en production, il n’y a tout simplement pas d’échantillon à mesurer.

À mon avis, beaucoup d’organisations s’arrêtent au niveau 2 et croient observer leur système. Elles voient ce qui s’est passé, pas si c’était bon. L’assistant RH du scénario était au niveau 2. Le gain se fait au niveau 3 ; la maîtrise vient au niveau 5.

Les signaux sont les cinq façons dont le système raconte ce qu’il fait. Ce sont ceux du guide, chapitre 1 : les journaux (une ligne par événement), les métriques (des chiffres relevés à intervalle régulier), les traces (le trajet d’une requête étape par étape), les évaluations (une note donnée à une réponse) et les retours utilisateurs (le pouce levé ou baissé). L’identifiant de trace les relie entre eux. La méthode ajoute le stockage type de sa configuration de référence.

SignalStockage type
JournauxVictoriaLogs, Loki
MétriquesVictoriaMetrics, Prometheus
Tracesbackend OTLP (Tempo, Jaeger)
ÉvaluationsLangfuse, Arize Phoenix
Retours utilisateursrattachés à la trace par son identifiant, à côté des scores d’évaluation

La première version de la méthode listait aussi des « événements de contenu » (le prompt, l’appel d’outil, son résultat). Ce n’est pas un signal à part : ils relèvent des journaux et des traces, au titre de la capture du contenu décrite plus bas.

OpenTelemetry est le standard ouvert qui définit comment une application décrit ce qu’elle fait, avec les mêmes noms quel que soit l’outil qui stocke les données. Ses conventions sémantiques GenAI jouent le rôle d’un dictionnaire commun pour les appels aux modèles : le même attribut veut dire la même chose chez tous les fournisseurs. Je recommande de les adopter comme base d’instrumentation, en gardant en tête qu’elles sont encore en statut Development, donc susceptibles de changer.

Leurs versions, leur historique (dont le passage dans un dépôt dédié depuis la 1.42), leurs attributs et la capture du contenu sont détaillés une seule fois sur le site, dans l’article Observer un système LLM, §2. La méthode s’appuie surtout sur gen_ai.request.model et gen_ai.response.model, gen_ai.provider.name, gen_ai.usage.input_tokens et gen_ai.usage.output_tokens (la base du calcul de coût), gen_ai.response.finish_reasons (la raison pour laquelle le modèle s’est arrêté, un signal de fiabilité de premier ordre) et gen_ai.operation.name. Ses recording rules (partie II) partent des métriques des versions 1.40 et 1.41 (gen_ai.client.operation.duration, gen_ai.client.token.usage) : la note de révision en bas de page dit ce qui change ensuite.

Reste la question du contenu : faut-il enregistrer ce que l’utilisateur a écrit et ce que le modèle a répondu ? C’est utile pour comprendre une mauvaise réponse, mais c’est aussi stocker des données parfois personnelles. La spécification tranche par défaut : les instrumentations ne capturent ni les instructions, ni les entrées, ni les sorties. Les capturer est un choix explicite (un opt-in). Elle décrit trois usages.

Le premier est de ne rien enregistrer, c’est le défaut. Le deuxième est d’enregistrer le contenu sur les spans (gen_ai.system_instructions, gen_ai.input.messages, gen_ai.output.messages), à réserver aux cas où le volume reste maîtrisé et où le stockage respecte la réglementation, par exemple en préproduction. Le troisième consiste à stocker le contenu ailleurs et à ne poser sur le span qu’une référence vers lui ; c’est l’usage que la spécification recommande en production. En environnement réglementé, la méthode retient ce troisième usage, avec un masquage des données sensibles au niveau du collecteur. Dans tous les cas, le contenu ne va jamais dans un label de métrique (voir le guide, 9.6).

Prenez votre application et cherchez la défaillance la plus longue que vous pourriez ne pas voir aujourd’hui : une baisse de qualité, une dérive de coût ou un détournement par injection. Situez-la sur une des quatre couches, puis passez-la au crible des cinq questions. Si « impact si absent » vous inquiète, c’est le premier signal à instrumenter.


Révisé le 2 octobre 2026 : depuis la version 1.42 (juin 2026), les conventions GenAI vivent dans le dépôt semantic-conventions-genai. À cette date, sa branche principale, dont les modifications ne sont pas encore publiées dans une version, classe gen_ai.client.operation.duration en métrique recommandée et non plus requise et remplace gen_ai.client.token.usage par des compteurs gen_ai.client.inference.usage.* (jetons d’entrée, de sortie, de cache et de raisonnement) et des histogrammes gen_ai.client.inference.operation.*. Vérifiez la version que votre instrumentation émet avant d’écrire vos règles.

Révisé le 4 octobre 2026 : signaux alignés sur les cinq du guide (les événements de contenu relèvent des journaux et des traces), table de correspondance vers les cinq couches de L’IA en coupe, échelle de maturité remplacée par les niveaux 0 à 5 du guide, rappel des conventions OpenTelemetry réduit à un résumé avec renvoi à l’article, règle de capture du contenu alignée sur la spécification.

Révisé le 25 octobre 2026 : page réécrite pour être lisible par un public plus large (scénario d’ouverture, termes expliqués), sans changement de fond.