Organisation
Module 5 : industrialiser
Pour : architectes · managers d’équipe · finance, risque et conformitéPrérequis : Avoir suivi les modules et les labs précédents du parcours.
Le plan à 30, 60 et 90 jours
Section intitulée « Le plan à 30, 60 et 90 jours »La maturité progresse en trois temps, dans cet ordre. Inutile d’automatiser une réindexation ou un changement de modèle avant d’avoir un tableau de bord fiable.
| Échéance | Thème | Livrables |
|---|---|---|
| 30 jours | instrumenter | SDK OpenTelemetry sur la chaîne principale, conventions GenAI appliquées, tableau de bord LLM Overview, découpage par client et fonctionnalité |
| 60 jours | évaluer | fidélité mesurée en continu, détection automatique de dérive, juge sur 1 % du trafic, Phoenix autohébergé |
| 90 jours | gouverner | SLO formalisés et signés, une procédure par alerte, revue mensuelle qualité et coût, journaux et documentation exigés par l’AI Act en place si le système est concerné |
Rapportés à l’échelle de maturité du guide (niveaux 0 à 5) :
| Échéance | Niveaux du guide visés |
|---|---|
| 30 jours | niveaux 1 et 2 : télémétrie de base (jetons, coût, latence, erreurs) puis traçage structuré avec les conventions GenAI et des attributs par client et fonctionnalité |
| 60 jours | niveau 3 (évaluation en ligne : fidélité mesurée en continu, juge sur échantillon) et premier élément du niveau 4 (détection de dérive) |
| 90 jours | consolidation des niveaux 3 et 4 : les SLO, les procédures et la revue mensuelle relèvent de la gouvernance, que l’échelle du guide ne mesure pas en tant que telle ; le niveau 5 (boucle fermée) dépasse ce plan |
Ces échéances valent pour un périmètre restreint, une chaîne principale comme celle des labs ; pour un programme complet, le guide juge le niveau 3 réaliste en six mois.
Qui regarde quoi
Section intitulée « Qui regarde quoi »En résumé, chaque rôle a ses indicateurs et son rythme :
- l’astreinte suit en continu les alertes de latence, d’erreurs et de budget de jetons ;
- l’équipe produit regarde chaque semaine le score qualité, les retours utilisateurs et la dérive ;
- la finance suit chaque mois le coût par client et par fonctionnalité ; un comité qualité IA revoit chaque mois tendances, incidents et décisions de changement (prompt, récupération, version de modèle).
La matrice RACI et l’organisation de l’astreinte qualité sont détaillées dans la partie VII de la méthode.
Le détail des modèles d’organisation est traité dans le plan organisation.
Ce que demande l’AI Act
Section intitulée « Ce que demande l’AI Act »- Les obligations dépendent du rôle (fournisseur qui met le système sur le marché, déployeur qui l’utilise) et du niveau de risque : journalisation, documentation technique et surveillance après commercialisation visent les systèmes à haut risque, dont le déployeur conserve les journaux générés automatiquement au moins six mois ; l’article 50 (transparence) vise tout système qui dialogue avec des personnes.
- Calendrier issu du règlement (UE) 2026/1744 : article 50 applicable depuis le 2 août 2026, systèmes à haut risque de l’annexe III au 2 décembre 2027, de l’annexe I au 2 août 2028.
- Une pile OpenTelemetry fournit la matière technique (journaux, mesures, historique) ; qualifier le système et votre rôle, documenter et tenir le dispositif dans la durée reste à faire.
Le tableau détaillé des exigences, article par article, avec le rôle visé et ce que la pile couvre, est dans la partie VI de la méthode.
Ce que la formation a couvert
Section intitulée « Ce que la formation a couvert »- Les indicateurs de premier rang changent : dérive, fidélité, hallucination et temps au premier jeton passent devant CPU, p95 et taux d’erreur.
- Les conventions GenAI rendent l’instrumentation portable, à condition d’absorber leurs évolutions dans le Collector.
- Une pile autohébergée (dans le kit : OpenTelemetry, VictoriaMetrics, Tempo, Grafana et Phoenix) couvre ces besoins ; d’autres combinaisons, open source ou commerciales, le font aussi et l’instrumentation OpenTelemetry garde le choix réversible.
- La maturité se construit dans l’ordre du plan ci-dessus : instrumenter, évaluer, puis gouverner.
Pour continuer
Section intitulée « Pour continuer »- Observer un système LLM : la pile de production, MCP, confidentialité.
- Méthode d’observabilité GenAI : SLO de qualité, impact chiffré, conformité, organisation.
- Au-delà du LLM : GPU et qualité des modèles : infrastructure GPU et détection statistique de dérive.
- Conventions GenAI : dépôt
semantic-conventions-genai(depuis la version 1.42 des conventions). - Documentation Phoenix, RAGAS, Evidently et VictoriaMetrics.
Révisé le 2 octobre 2026 : section AI Act corrigée (rôles de fournisseur et de déployeur, article 26 et conservation des journaux, article 50 applicable à tout système conversationnel, calendrier issu du règlement (UE) 2026/1744), lien vers le nouveau dépôt des conventions GenAI.
Révisé le 4 octobre 2026 : jalons du plan à 30, 60 et 90 jours rapportés aux niveaux de maturité du guide, « réentraînement » remplacé par les changements réels d’un LLM appelé par API (prompt, récupération, version de modèle) ; « Qui regarde quoi » et la section AI Act résumés avec renvoi aux parties VII et VI de la méthode, où se trouve désormais le tableau des exigences par rôle.