Aller au contenu

TechniquePratique6 min de lecture (+1 technique)

Observabilité des LLM : les labs

Instrumenter une application LLM, mesurer la qualité de ses réponses, tenir son coût et la défendre en production, avec une stack autohébergée, open source à une brique près. 5 modules, 4 labs, environ 13 h 20.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir déjà appelé une API de LLM, connaître un outil d'observabilité classique et savoir lire un script Python.

Mode de lecture

Un lundi, la direction des ressources humaines reçoit un message agacé : l’assistant interne a annoncé à un salarié une durée de congé qui n’est plus en vigueur depuis le printemps. L’équipe technique ouvre ses tableaux de bord. Tout est vert : les serveurs tiennent, les réponses arrivent en moins de deux secondes, aucune erreur. Le scénario est inventé, mais il résume le problème que traite cette formation.

Les outils classiques surveillent l’infrastructure : processeur, mémoire, temps de réponse, erreurs techniques. Rien de ce qu’ils mesurent ne porte sur le sens de ce que dit le modèle. Un assistant commercial qui invente le prix d’un produit retiré du catalogue ne fait bouger aucune courbe. L’infrastructure reste verte pendant que le modèle dérive.

Un LLM (large language model, grand modèle de langage) est le moteur qui génère le texte, comme Mistral ou Claude. Le RAG (retrieval-augmented generation) consiste à lui donner, avant chaque réponse, des extraits de vos propres documents : c’est ce qui permet à un assistant RH de citer votre convention collective plutôt que des généralités. Ces labs portent sur le LLM et le RAG. Les agents et les serveurs MCP, qui donnent au modèle des outils à appeler, sont traités dans l’article Observer un système LLM et dans la méthode d’observabilité GenAI. Les notions de base (signaux, maturité, évaluateurs) viennent du guide Comprendre l’observabilité de l’IA générative, à lire avant.

Elle vise les équipes plateforme et data, à l’aise avec un outil de supervision mais pas forcément spécialistes des LLM. Chaque module explique ses termes la première fois qu’il les emploie. Les labs, eux, sont des exercices pratiques sur votre poste : on lance des commandes, on lit des traces, on déclenche des alertes.

Concrètement, il faut avoir déjà appelé une API de LLM (Mistral, OpenAI, Claude) ou un modèle local via Ollama, connaître au moins un outil d’observabilité classique (Prometheus, Grafana, Elastic) et savoir lire et modifier un script Python. Connaître les bases d’OpenTelemetry aide, sans être indispensable.

Vous saurez d’abord expliquer pourquoi un LLM ne se surveille pas comme une application classique. Vous saurez ensuite l’instrumenter, c’est-à-dire ajouter au code ce qui produit les mesures, avec les conventions OpenTelemetry GenAI, le vocabulaire standard des appels aux modèles. Avec ces mesures, vous construirez les tableaux de bord de qualité, de coût et de performance.

Vient ensuite la partie propre aux LLM : repérer les dérives de données, de concept et de pipeline avec des indicateurs reproductibles, puis mettre en place une évaluation continue des réponses (un modèle juge, des métriques propres au RAG, les retours des utilisateurs). Vous finirez par les SLO (des objectifs de service chiffrés) et par des alertes adaptées aux charges génératives, le tout sur une stack autohébergée dont chaque brique peut être remplacée.

ÉtapeContenuDurée indicative
Module 1pourquoi un LLM ne s’observe pas comme une application classique1 h 30
Module 2les conventions OpenTelemetry GenAI1 h 45
Lab 1instrumenter une application LLM1 h 45
Lab 2un pipeline RAG observé de bout en bout1 h 30
Module 3les trois dérives1 h 30
Module 4l’évaluation continue en production1 h 45
Lab 3détecter une dérive automatiquement1 h 30
Lab 4coût, performance, SLO et alertes1 h 35
Module 5industrialiser : plan à 30, 60 et 90 jours, AI Act30 min

Les labs reposent sur une stack autohébergée : chaque brique tourne sur votre poste et on voit chaque maillon de la chaîne. Le tableau donne les versions épinglées dans le kit.

BriqueVersion du kitLicenceRôle
OpenTelemetry (SDK Python et Collector contrib)SDK 1.28.2, Collector 0.108.0Apache 2.0instrumentation, conventions GenAI, routage
VictoriaMetricsv1.110.0Apache 2.0stockage des métriques
Tempo2.6.0AGPL 3.0stockage des traces
Grafana11.2.0AGPL 3.0tableaux de bord, exploration, alertes
Arize Phoenix5.9.1Elastic License 2.0 (source disponible)exploration des conversations, évaluation
Qdrantv1.12.0Apache 2.0base vectorielle du RAG
Ollama0.3.12MITLLM local (Mistral 7B) et modèle d’embeddings

Toutes les briques sont open source sauf Phoenix : sa licence Elastic License 2.0 rend le code consultable sans être une licence open source. L’ensemble tourne sur un poste de travail avec Docker (16 Go de mémoire conseillés). Chaque brique a des équivalents, open source ou commerciaux. Le module 1 en donne un aperçu et le chapitre 6 du guide dresse le paysage complet des outils et de leurs licences.

Le kit (dossier labs/llm-observability/, sous licence Apache 2.0) n’est pas encore publié. Il le sera sur la forge Labs & Trainings. D’ici là, les leçons de lab se lisent comme des énoncés d’exercice.

Le 2 octobre 2026, le kit a été corrigé d’une série de défauts qui l’empêchaient de produire ce que les leçons annoncent. Le plus visible pour vous : les prix ont disparu. Les prix changent vite et varient selon les contrats, ce guide n’en donne donc pas. Le budget et les SLO du lab sont exprimés en jetons et le coût en euros n’est calculé qu’avec une grille datée que vous fournissez, celle de votre fournisseur.

Pour les équipes techniques : la liste des corrections du 2 octobre 2026
  • dépendances Python non épinglées, alors que la version récente du client Qdrant n’a plus la méthode search() utilisée par les labs 2 à 4 : dépendances épinglées et passage à query_points() ;
  • noms de métriques sans les suffixes _seconds et _total ajoutés par l’exportateur : panneaux de latence et de coût vides, requêtes corrigées ;
  • sources Grafana sans uid : les cinq alertes et le lien de la trace vers la métrique visaient une source inexistante ;
  • calcul de coût du Collector qui ne s’appliquait jamais et filtre défini hors pipeline : retirés, le coût est calculé côté application ;
  • Phoenix au centre du schéma mais sans aucun export : pipeline de traces ajouté vers Phoenix ;
  • extensions maison rangées sous gen_ai.* et attribut déprécié gen_ai.system : passage à mttl.* et à gen_ai.provider.name ;
  • métriques promises absentes (hallucinations, client sur le score de dérive, découpage par fonctionnalité) : ajoutées ;
  • scénario de dérive de concept impossible (réindexation à chaque lancement) et alertes impossibles à déclencher avec le lab 4 : réindexation explicite et simulateur paramétrable ;
  • grille de prix illustrative dans le lab 4 : retirée.

Révisé le 2 octobre 2026 : durée totale corrigée (13 heures), versions et licences de la stack indiquées, état du kit et liste des corrections ajoutés, AI Act décrit en termes de surveillance et de journaux ; prix retirés.

Révisé le 4 octobre 2026 : titre « Observabilité des LLM : les labs », phrase de périmètre (LLM et RAG en labs ; agents et MCP renvoyés à l’article et à la méthode ; prérequis : le guide), encart de progression ajouté, page passée en MDX.

Révisé le 5 octobre 2026 : durée du lab 4 alignée sur ses étapes (1 h 35), d’où une durée totale d’environ 13 h 20.