Aller au contenu

TechniquePratique8 min de lecture

Comprendre l'observabilité de l'IA générative

Un guide technique sur l'observabilité de l'IA générative (LLM, RAG, agents, MCP) pour les équipes SRE, plateforme et ML : ce qu'il faut mesurer, dans quel ordre, avec quels outils et comment faire vivre la plateforme.

Pour : ingénieurs et SRE · architectesPrérequis : Connaître l'observabilité classique (journaux, métriques, traces). Avoir déjà vu une application qui appelle un LLM aide, sans être indispensable.

Mode de lecture

Prenons un scénario illustratif. Une mutuelle met en ligne un assistant qui répond aux questions de ses adhérents à partir des conditions générales. Les tableaux de bord sont au vert : le service répond, en moins de deux secondes, sans erreur. Trois semaines plus tard, le service client remonte des plaintes. L’assistant affirme qu’un soin est remboursé alors qu’il ne l’est plus depuis la dernière mise à jour du contrat.

Rien dans la supervision n’avait bougé. C’est le point de départ de ce guide : un système d’IA peut être disponible, rapide et faux. L’observabilité classique voit les deux premiers adjectifs. Ce guide explique comment voir le troisième.

Le périmètre est l’IA générative. On y trouve les LLM (large language models, les grands modèles de langage qui produisent du texte), les chaînes RAG (le modèle répond en s’appuyant sur des documents qu’on lui fournit), les agents (le modèle enchaîne des actions en boucle) et les outils MCP (le protocole standard par lequel un modèle appelle des outils). Le ML classique et la vision n’en font pas partie : ils sont traités dans Au-delà du LLM : GPU et qualité des modèles.

Le public visé, ce sont les équipes SRE, plateforme et ingénierie ML qui exploitent, ou vont exploiter, des fonctionnalités d’IA en production. Je suppose que vous connaissez les journaux, les métriques et les traces. Je ne suppose pas que vous soyez spécialiste de l’IA : chaque terme propre au domaine est expliqué la première fois qu’il apparaît.

À la fin, vous devriez savoir quoi mesurer, dans quel ordre, avec quels outils et comment faire vivre la plateforme dans la durée. Deux contraintes reviennent dans tous les chapitres : le budget et les données personnelles.

  1. Disponible, rapide et faux. L’observabilité classique couvre la santé du système (l’axe horizontal). L’observabilité de l’IA ajoute la qualité des réponses (l’axe vertical) : la réponse est-elle correcte, fidèle aux sources et sans danger ?
  2. Cinq propriétés des systèmes d’IA cassent les hypothèses classiques : une même question ne donne pas toujours la même réponse, les échanges sont en langage naturel, la qualité ne se constate qu’à l’exécution, le comportement dérive dans le temps et le coût varie d’une requête à l’autre (une seule boucle d’agent peut coûter autant que des milliers de requêtes).
  3. Cinq signaux, une seule clé. Aux journaux, métriques et traces s’ajoutent les évaluations et les retours des utilisateurs. L’identifiant de trace relie chaque étape, chaque score et chaque retour en un seul objet qu’on peut interroger.
  4. Chaque couche de la stack d’IA émet ses propres signaux, de l’application au modèle en passant par la recherche documentaire et les outils. Tous se relient par l’identifiant de trace.
  5. Il existe quatre types de systèmes qui se recouvrent : LLM seul, RAG, agents, outils MCP. Les applications réelles les combinent, la plateforme doit donc gérer les quatre.
  6. Un arbre de trace raconte l’histoire d’une requête. Les évaluations vivent dans la même trace que la requête qu’elles notent ; les retours des utilisateurs s’y rattachent plus tard, par l’identifiant de trace.
  7. L’échelle de maturité compte six niveaux. Situez-vous honnêtement : sans stratégie d’observabilité explicite, une fonctionnalité d’IA reste au niveau 0. À mon avis, le niveau 3 (évaluation en ligne) est un objectif réaliste à six mois.
  8. La mise en œuvre suit sept étapes ordonnées : définir les questions, instrumenter, collecter, stocker, évaluer, visualiser et alerter, fermer la boucle. On instrumente pour répondre à des questions déjà écrites. Instrumenter d’abord en espérant que les questions viendront ensuite ne marche pas.
  9. L’OpenTelemetry Collector est le point d’intégration. Ce relais entre l’application et le stockage caviarde, enrichit, échantillonne, regroupe et exporte les données. L’ordre compte : le caviardage passe avant le regroupement.
  10. Je propose une architecture de référence auto-hébergeable dont chaque couche se remplace indépendamment : OpenInference, Collector, VictoriaMetrics, Phoenix, Tempo, VictoriaLogs, Ragas, Grafana. Le choix d’OpenInference pour l’instrumentation est un arbitrage, pas une recommandation sans condition (voir le chapitre 6). Chaque couche se compare avec ses alternatives, comme Prometheus, Mimir, Langfuse, Loki ou des services gérés.
  11. Il existe trois types d’évaluateurs aux coûts très différents : les règles, les classifieurs et le LLM juge (un modèle qui note les réponses d’un autre). Par exemple, des vérifications peu coûteuses sur 100 % des traces, de petits juges sur 10 %, de grands juges sur 1 % plus les traces signalées. Évaluez toujours chaque erreur et chaque retour négatif.
  12. L’évaluation en ligne et l’évaluation hors ligne sont toutes deux nécessaires. La première détecte la dérive en production. La seconde sert de garde-fou avant chaque mise à niveau.
  13. Pour exploiter la plateforme : échantillonnage en queue par défaut, dimensions de métriques bornées, forte cardinalité réservée aux traces, caviardage dans le collecteur, contrôle d’accès par rôles (RBAC) et journal d’audit sur les requêtes de traces, liste blanche des flux sortants vers les juges.
  14. Versionnez chaque élément qui influence la réponse, rejouez d’anciennes traces sur les nouvelles versions, utilisez le mode fantôme, les tests A/B et les canaris. Bloquez la construction dès qu’un score régresse.
  15. Évitez les anti-modèles et fermez la boucle. Sans revue hebdomadaire qui transforme les traces en échec en tests de non-régression, la plateforme n’est qu’une archive coûteuse en lecture seule. Partez de votre niveau actuel (voir l’annexe).
  1. Fondations : les deux axes, les cinq signaux, le vocabulaire.
  2. Périmètre et typologie des systèmes d’IA : LLM seul, RAG, agents, MCP et la forme de leurs traces.
  3. La feuille de route de maturité : du niveau 0 (exploitation à l’aveugle) au niveau 5 (boucle fermée).
  4. La mise en œuvre en sept étapes : des questions à la boucle fermée, avec les attributs OpenTelemetry GenAI.
  5. Conception des évaluateurs : catalogue, modèles de prompts pour LLM juge, calibration, agrégation, échantillonnage.
  6. Le paysage des outils : auto-hébergement ou service géré, licences, stacks de référence.
  7. Exploiter la plateforme : échantillonnage, coûts, cardinalité, données personnelles, sécurité, responsabilités.
  8. Versionnage, rejeu et expérimentation : faire évoluer le système sans casse.
  9. Anti-modèles et pièges courants : douze pièges et leurs remèdes.
  10. Annexe : glossaire, références, prochaines étapes par niveau.

Plusieurs contenus du site parlent d’observabilité de l’IA générative. Pour éviter que des versions divergentes circulent, chaque sujet a une seule maison. Les autres contenus le résument en une phrase et renvoient ici.

SujetLeçon de référence
Les cinq signaux (journaux, métriques, traces, évaluations, retours utilisateurs)1. Fondations
Les quatre types de systèmes (LLM seul, RAG, agents, MCP)2. Périmètre et typologie
Les niveaux de maturité 0 à 53. Feuille de route de maturité
Conception des évaluateurs, LLM juge, échantillonnage du juge, évaluation en ligne et hors ligne5. Conception des évaluateurs (et chapitre 8 pour le rejeu et le blocage en intégration continue)
Paysage des outils et licences des briques6. Le paysage des outils
Coût de l’observabilité7. Exploiter la plateforme, section 7.2
Anti-modèles9. Anti-modèles et pièges courants

D’autres sujets ont leur maison ailleurs et le guide y renvoie. La taxonomie des dérives (données, concept, pipeline) est dans le module 3 des labs. Les conventions OpenTelemetry GenAI (versions, historique des renommages, capture du contenu, MCP) sont dans l’article de mise en production. Les SLO de qualité, le coût de la non-observabilité, l’AI Act et le RACI sont dans la méthode GenAI.

Pour pratiquer, Observabilité des LLM : les labs met en œuvre les chapitres 4 et 5 sur une stack autohébergée (instrumentation, RAG, dérives, coût).

Pour passer en production, l’article Observer un système LLM donne les conventions OpenTelemetry GenAI à jour et les playbooks de déploiement (Collector, échantillonnage, RAG, MCP, confidentialité). Il se prolonge avec VictoriaMetrics pour l’observabilité des LLM.

Pour aller plus loin dans la méthode, la méthode GenAI traite les SLO de qualité, l’impact chiffré, la conformité et l’organisation.

Pour sortir du LLM, Au-delà du LLM : GPU et qualité des modèles couvre l’infrastructure GPU, le ML classique et la dérive statistique.

Révisé le 4 octobre 2026 : titre « Comprendre l’observabilité de l’IA générative », périmètre explicite (LLM, RAG, agents, MCP), encart de progression, table des sujets dont le guide est la référence et liens vers les labs, l’article de mise en production et la méthode.

Révisé le 25 octobre 2026 : présentation réécrite autour d’un scénario illustratif, termes du domaine expliqués à leur première apparition.