TechniquePratique6 min de lecture (+1 technique)
Observabilité des LLM : les labs
Instrumenter une application LLM, mesurer la qualité de ses réponses, tenir son coût et la défendre en production, avec une stack autohébergée, open source à une brique près. 5 modules, 4 labs, environ 13 h 20.
Pour : ingénieurs et SRE · architectesPrérequis : Avoir déjà appelé une API de LLM, connaître un outil d'observabilité classique et savoir lire un script Python.
Un lundi, la direction des ressources humaines reçoit un message agacé : l’assistant interne a annoncé à un salarié une durée de congé qui n’est plus en vigueur depuis le printemps. L’équipe technique ouvre ses tableaux de bord. Tout est vert : les serveurs tiennent, les réponses arrivent en moins de deux secondes, aucune erreur. Le scénario est inventé, mais il résume le problème que traite cette formation.
Les outils classiques surveillent l’infrastructure : processeur, mémoire, temps de réponse, erreurs techniques. Rien de ce qu’ils mesurent ne porte sur le sens de ce que dit le modèle. Un assistant commercial qui invente le prix d’un produit retiré du catalogue ne fait bouger aucune courbe. L’infrastructure reste verte pendant que le modèle dérive.
Un LLM (large language model, grand modèle de langage) est le moteur qui génère le texte, comme Mistral ou Claude. Le RAG (retrieval-augmented generation) consiste à lui donner, avant chaque réponse, des extraits de vos propres documents : c’est ce qui permet à un assistant RH de citer votre convention collective plutôt que des généralités. Ces labs portent sur le LLM et le RAG. Les agents et les serveurs MCP, qui donnent au modèle des outils à appeler, sont traités dans l’article Observer un système LLM et dans la méthode d’observabilité GenAI. Les notions de base (signaux, maturité, évaluateurs) viennent du guide Comprendre l’observabilité de l’IA générative, à lire avant.
À qui s’adresse la formation ?
Section intitulée « À qui s’adresse la formation ? »Elle vise les équipes plateforme et data, à l’aise avec un outil de supervision mais pas forcément spécialistes des LLM. Chaque module explique ses termes la première fois qu’il les emploie. Les labs, eux, sont des exercices pratiques sur votre poste : on lance des commandes, on lit des traces, on déclenche des alertes.
Concrètement, il faut avoir déjà appelé une API de LLM (Mistral, OpenAI, Claude) ou un modèle local via Ollama, connaître au moins un outil d’observabilité classique (Prometheus, Grafana, Elastic) et savoir lire et modifier un script Python. Connaître les bases d’OpenTelemetry aide, sans être indispensable.
Ce que vous saurez faire en sortant
Section intitulée « Ce que vous saurez faire en sortant »Vous saurez d’abord expliquer pourquoi un LLM ne se surveille pas comme une application classique. Vous saurez ensuite l’instrumenter, c’est-à-dire ajouter au code ce qui produit les mesures, avec les conventions OpenTelemetry GenAI, le vocabulaire standard des appels aux modèles. Avec ces mesures, vous construirez les tableaux de bord de qualité, de coût et de performance.
Vient ensuite la partie propre aux LLM : repérer les dérives de données, de concept et de pipeline avec des indicateurs reproductibles, puis mettre en place une évaluation continue des réponses (un modèle juge, des métriques propres au RAG, les retours des utilisateurs). Vous finirez par les SLO (des objectifs de service chiffrés) et par des alertes adaptées aux charges génératives, le tout sur une stack autohébergée dont chaque brique peut être remplacée.
Programme
Section intitulée « Programme »| Étape | Contenu | Durée indicative |
|---|---|---|
| Module 1 | pourquoi un LLM ne s’observe pas comme une application classique | 1 h 30 |
| Module 2 | les conventions OpenTelemetry GenAI | 1 h 45 |
| Lab 1 | instrumenter une application LLM | 1 h 45 |
| Lab 2 | un pipeline RAG observé de bout en bout | 1 h 30 |
| Module 3 | les trois dérives | 1 h 30 |
| Module 4 | l’évaluation continue en production | 1 h 45 |
| Lab 3 | détecter une dérive automatiquement | 1 h 30 |
| Lab 4 | coût, performance, SLO et alertes | 1 h 35 |
| Module 5 | industrialiser : plan à 30, 60 et 90 jours, AI Act | 30 min |
La stack utilisée
Section intitulée « La stack utilisée »Les labs reposent sur une stack autohébergée : chaque brique tourne sur votre poste et on voit chaque maillon de la chaîne. Le tableau donne les versions épinglées dans le kit.
| Brique | Version du kit | Licence | Rôle |
|---|---|---|---|
| OpenTelemetry (SDK Python et Collector contrib) | SDK 1.28.2, Collector 0.108.0 | Apache 2.0 | instrumentation, conventions GenAI, routage |
| VictoriaMetrics | v1.110.0 | Apache 2.0 | stockage des métriques |
| Tempo | 2.6.0 | AGPL 3.0 | stockage des traces |
| Grafana | 11.2.0 | AGPL 3.0 | tableaux de bord, exploration, alertes |
| Arize Phoenix | 5.9.1 | Elastic License 2.0 (source disponible) | exploration des conversations, évaluation |
| Qdrant | v1.12.0 | Apache 2.0 | base vectorielle du RAG |
| Ollama | 0.3.12 | MIT | LLM local (Mistral 7B) et modèle d’embeddings |
Toutes les briques sont open source sauf Phoenix : sa licence Elastic License 2.0 rend le code consultable sans être une licence open source. L’ensemble tourne sur un poste de travail avec Docker (16 Go de mémoire conseillés). Chaque brique a des équivalents, open source ou commerciaux. Le module 1 en donne un aperçu et le chapitre 6 du guide dresse le paysage complet des outils et de leurs licences.
État du kit de labs
Section intitulée « État du kit de labs »Le kit (dossier labs/llm-observability/, sous licence Apache 2.0) n’est pas encore publié. Il le sera sur la forge Labs & Trainings. D’ici là, les leçons de lab se lisent comme des énoncés d’exercice.
Le 2 octobre 2026, le kit a été corrigé d’une série de défauts qui l’empêchaient de produire ce que les leçons annoncent. Le plus visible pour vous : les prix ont disparu. Les prix changent vite et varient selon les contrats, ce guide n’en donne donc pas. Le budget et les SLO du lab sont exprimés en jetons et le coût en euros n’est calculé qu’avec une grille datée que vous fournissez, celle de votre fournisseur.
Pour les équipes techniques : la liste des corrections du 2 octobre 2026
- dépendances Python non épinglées, alors que la version récente du client Qdrant n’a plus la méthode
search()utilisée par les labs 2 à 4 : dépendances épinglées et passage àquery_points(); - noms de métriques sans les suffixes
_secondset_totalajoutés par l’exportateur : panneaux de latence et de coût vides, requêtes corrigées ; - sources Grafana sans
uid: les cinq alertes et le lien de la trace vers la métrique visaient une source inexistante ; - calcul de coût du Collector qui ne s’appliquait jamais et filtre défini hors pipeline : retirés, le coût est calculé côté application ;
- Phoenix au centre du schéma mais sans aucun export : pipeline de traces ajouté vers Phoenix ;
- extensions maison rangées sous
gen_ai.*et attribut dépréciégen_ai.system: passage àmttl.*et àgen_ai.provider.name; - métriques promises absentes (hallucinations, client sur le score de dérive, découpage par fonctionnalité) : ajoutées ;
- scénario de dérive de concept impossible (réindexation à chaque lancement) et alertes impossibles à déclencher avec le lab 4 : réindexation explicite et simulateur paramétrable ;
- grille de prix illustrative dans le lab 4 : retirée.
Révisé le 2 octobre 2026 : durée totale corrigée (13 heures), versions et licences de la stack indiquées, état du kit et liste des corrections ajoutés, AI Act décrit en termes de surveillance et de journaux ; prix retirés.
Révisé le 4 octobre 2026 : titre « Observabilité des LLM : les labs », phrase de périmètre (LLM et RAG en labs ; agents et MCP renvoyés à l’article et à la méthode ; prérequis : le guide), encart de progression ajouté, page passée en MDX.
Révisé le 5 octobre 2026 : durée du lab 4 alignée sur ses étapes (1 h 35), d’où une durée totale d’environ 13 h 20.