Aller au contenu

OrganisationExpert5 min de lecture

Partie IX. Mise en œuvre

Par où commencer et dans quel ordre ? La démarche en sept phases, le lab de référence et les checklists par axe.

Pour : ingénieurs et SRE · architectes · managers d’équipePrérequis : Avoir lu les parties I à VIII de la méthode.

Une équipe qui a lu les huit parties précédentes se retrouve souvent devant une liste de chantiers trop longue pour un trimestre. La méthode les range en sept phases, un peu comme la rénovation d’une maison : on fait le plan avant de tirer les câbles, on tire les câbles avant de poser les interrupteurs. La dernière phase renvoie à la troisième, parce que l’amélioration continue fait tourner la boucle.

flowchart LR
  P0["Phase 0<br/>Cartographie"] --> P1["Phase 1<br/>Instrumentation"] --> P2["Phase 2<br/>SLI, SLO, alerting"] --> P3["Phase 3<br/>Évaluation"] --> P4["Phase 4<br/>FinOps"] --> P5["Phase 5<br/>Compliance"] --> P6["Phase 6<br/>Amélioration continue"]
  P6 -.->|"boucle fermée"| P3

La phase 0 est la cartographie. On recense les composants, les flux de données, les frontières de sensibilité (là où passent des données personnelles ou confidentielles), les obligations réglementaires et les personnes qui utiliseront l’observabilité.

La phase 1 est l’instrumentation. On pose OTel GenAI partout, sans capture de contenu par défaut, avec un collecteur branché sur les backends existants (voir la partie II).

La phase 2 installe les SLI et les SLO de service, de qualité et de coût. Elle met en place des tableaux de bord reliés par la trace et des alertes sur la dérive de qualité et de coût.

La phase 3 est l’évaluation : constitution du golden set, calibration du juge, gating en intégration continue, échantillonnage en production (voir la partie IV).

La phase 4 est le FinOps, le pilotage du coût. On attribue le coût à une équipe ou une fonctionnalité, on le suit par requête, par session et par tâche, on fixe des budgets et des alertes de dérive, on active les leviers d’économie.

La phase 5 est la compliance : masquage, séparation du contenu et des métadonnées, rétentions distinctes, audit immuable, remontée des événements MCP au SOC (le centre opérationnel de sécurité), matrice de preuve (voir la partie VI).

La phase 6 est l’amélioration continue. La production alimente les jeux de données de test, les régressions observées deviennent des tests, les seuils sont revus.

À mon avis, la tentation est de sauter de la phase 1 à la phase 4 parce que la facture fait mal. Je recommande de passer quand même par la phase 3 : sans évaluation, une économie de coût peut cacher une baisse de qualité.

Pour qu’une méthode devienne une compétence, il faut pouvoir provoquer les pannes et s’entraîner à les attraper, comme un simulateur de vol. La cible est un environnement exécutable qui reproduit chaque défaillance silencieuse et montre comment on la détecte. Ce lab complet est en préparation : il n’est pas encore publié et les configurations et règles de cette méthode n’y ont pas encore été exécutées.

Deux labs existent déjà sur la forge publique labstraining.

Le premier, labs/genaiotel, est une application RAG instrumentée avec les conventions OTel GenAI. Le modèle et les plongements y sont simulés, il n’y a donc pas besoin de clé d’API. Un Collector calcule le coût de chaque span (avec OTTL) et dérive les métriques par modèle (spanmetrics). VictoriaMetrics et vmalert portent les règles de coût et les alertes de latence, de coût, d’erreur, de jetons d’entrée, de contexte récupéré faible et de qualité évaluée. Jaeger et Grafana servent à l’exploration. Une passe d’évaluation envoie les résultats vers Phoenix. Il couvre une partie des scénarios 2 et 3 ci-dessous. Il ne contient ni agent, ni MCP, ni sidecar de borne de Wilson.

Le second, labs/aiobsagent, est un agent d’investigation d’alertes écrit en Go, en lecture seule. Il isole le contenu tiers pour se protéger de l’injection de prompt et tient un journal chaîné, où chaque entrée est liée à la précédente pour qu’on ne puisse pas en effacer une sans que cela se voie. Il illustre les garde-fous contre l’injection et le moindre privilège des grilles agent et MCP de la partie III, mais ne reproduit aucun des quatre scénarios ci-dessous.

Le lab complet, en préparation, aura la structure suivante.

labstraining/observability-genai/
docker-compose.yml # collecteur OTel, VictoriaMetrics, VictoriaLogs, Grafana, Langfuse
otel-collector.yaml # config de référence (partie II)
rules/ # recording rules et alertes MetricsQL
dashboards/ # tableaux de bord Grafana provisionnés
agent-demo/ # agent instrumenté OTel GenAI (Python)
scenarios/ # scénarios de défaillance reproductibles
evals/ # golden set, harnais RAGAS ou DeepEval

Il prévoit un scénario pédagogique par défaillance silencieuse.

  1. Boucle d’agent. L’agent tourne en rond et le coût par tâche explose. L’apprenant active la détection de boucle et l’alerte de coût, puis rejoue le scénario.
  2. Gonflement de prompt. Les jetons d’entrée augmentent progressivement ; seule la recording rule dédiée le rend visible.
  3. Hallucination par contexte RAG dégradé. On dégrade la recherche, la fidélité chute et l’évaluation échantillonnée le détecte alors que la latence reste verte.
  4. Mutation de serveur MCP. Un outil change de définition entre deux appels ; la détection de mutation et le tool pinning l’attrapent.

Ces listes servent de grille de revue, par exemple en fin de trimestre. Elles reprennent les quatre axes de la partie I et ajoutent l’organisation.

  • Évaluation par échantillonnage en production active
  • Golden set constitué, accord du juge suivi, juge versionné
  • SLO de qualité avec intervalle de confiance
  • Tests de régression en intégration continue
  • Détection de dérive configurée
  • Distribution des finish_reasons surveillée
  • SLO de service par couche
  • Health checks inférence, base vectorielle, serveurs MCP
  • Repli multi-fournisseur testé
  • Dégradation gracieuse en cas d’indisponibilité d’outil
  • Tokens et coût tracés avec dimension d’attribution
  • Budgets et alertes à 80 pour cent
  • Surveillance du gonflement de prompt et des boucles d’agent
  • Taux de hit du cache mesuré et leviers actifs
  • Contenu non capturé par défaut, capture opt-in maîtrisée
  • Masquage et expurgation au collecteur
  • Séparation contenu et métadonnées, rétentions distinctes
  • Piste d’audit immuable sur invocations et accès
  • Événements de sécurité MCP remontés au SOC
  • Matrice de preuve AI Act, NIS2, RGPD documentée
  • Backends auto-hébergés si souveraineté requise
  • RACI établi sur les huit capacités
  • Astreinte qualité définie, playbooks de mitigation écrits

Faites la phase 0 en une demi-journée : un tableau blanc, les composants, les flux, les données sensibles. Puis cochez honnêtement les checklists ci-dessus. À mon avis, les cases vides de l’axe fiabilité sont celles qui comptent le plus, parce que ce sont celles des défaillances silencieuses.


Révisé le 2 octobre 2026 : le lab complet de la méthode est présenté comme en préparation, avec un renvoi précis vers les deux labs publics existants.

Révisé le 25 octobre 2026 : page réécrite pour un public plus large (phases rédigées en prose, termes expliqués), sans changement de fond.