OrganisationPratique5 min de lecture
Module 5 : industrialiser
Passer des labs à la production : un plan à 30, 60 et 90 jours, qui regarde quoi dans l'organisation et ce que l'AI Act demande à l'observabilité d'un système d'IA.
Pour : architectes · managers d’équipe · finance, risque et conformitéPrérequis : Avoir suivi les modules et les labs précédents du parcours.
Les labs sont terminés. Le lendemain, en comité, quelqu’un demande : « Très bien, mais par où commence-t-on chez nous, qui s’en occupe et est-ce qu’on est en règle avec l’AI Act ? » (scénario illustratif). Ce module répond à ces trois questions, dans cet ordre.
Le plan à 30, 60 et 90 jours
Section intitulée « Le plan à 30, 60 et 90 jours »On construit l’observabilité d’un LLM comme une maison : les fondations, puis les murs, puis le toit. La maturité progresse en trois temps, dans cet ordre. Inutile d’automatiser une réindexation ou un changement de modèle avant d’avoir un tableau de bord fiable.
| Échéance | Thème | Livrables |
|---|---|---|
| 30 jours | instrumenter | SDK OpenTelemetry sur la chaîne principale, conventions GenAI appliquées, tableau de bord LLM Overview, découpage par client et fonctionnalité |
| 60 jours | évaluer | fidélité mesurée en continu, détection automatique de dérive, juge sur 1 % du trafic, Phoenix autohébergé |
| 90 jours | gouverner | SLO formalisés et signés, une procédure par alerte, revue mensuelle qualité et coût, journaux et documentation exigés par l’AI Act en place si le système est concerné |
Le guide propose une échelle de maturité en six niveaux, de 0 à 5. Voici où ce plan vous place sur cette échelle :
| Échéance | Niveaux du guide visés |
|---|---|
| 30 jours | niveaux 1 et 2 : signaux de base (jetons, coût, latence, erreurs) puis traçage structuré avec les conventions GenAI et des attributs par client et fonctionnalité |
| 60 jours | niveau 3 (évaluation en ligne : fidélité mesurée en continu, juge sur échantillon) et premier élément du niveau 4 (détection de dérive) |
| 90 jours | consolidation des niveaux 3 et 4 : les SLO, les procédures et la revue mensuelle relèvent de la gouvernance, que l’échelle du guide ne mesure pas en tant que telle ; le niveau 5 (boucle fermée) dépasse ce plan |
Ces échéances valent pour un périmètre restreint, une chaîne principale comme celle des labs. Pour un programme complet, le guide juge le niveau 3 réaliste en six mois.
Qui regarde quoi ?
Section intitulée « Qui regarde quoi ? »Chaque rôle a ses indicateurs et son rythme. L’astreinte, l’équipe qui intervient en cas d’incident, suit en continu les alertes de latence, d’erreurs et de budget de jetons. L’équipe produit regarde chaque semaine le score qualité, les retours utilisateurs et la dérive. La finance suit chaque mois le coût par client et par fonctionnalité. Un comité qualité IA revoit lui aussi chaque mois les tendances, les incidents et les décisions de changement (prompt, récupération, version de modèle).
La matrice RACI, le tableau qui dit pour chaque tâche qui la réalise, qui en répond, qui est consulté et qui est informé, ainsi que l’organisation de l’astreinte qualité sont détaillées dans la partie VII de la méthode. Les modèles d’organisation en général sont traités dans le plan organisation.
Ce que demande l’AI Act
Section intitulée « Ce que demande l’AI Act »L’AI Act, le règlement européen sur l’intelligence artificielle, ne pose pas les mêmes obligations à tout le monde. Elles dépendent d’abord de votre rôle : le fournisseur est celui qui met le système sur le marché, le déployeur celui qui l’utilise. Elles dépendent ensuite du niveau de risque du système. La journalisation, la documentation technique et la surveillance après commercialisation visent les systèmes à haut risque ; leur déployeur conserve les journaux générés automatiquement au moins six mois. L’article 50, sur la transparence, vise quant à lui tout système qui dialogue avec des personnes.
Le calendrier est issu du règlement (UE) 2026/1744 : l’article 50 s’applique depuis le 2 août 2026, les obligations des systèmes à haut risque de l’annexe III à partir du 2 décembre 2027, celles de l’annexe I à partir du 2 août 2028.
Une stack OpenTelemetry fournit la matière technique : journaux, mesures, historique. Elle ne fait pas tout. Qualifier le système et votre rôle, le documenter, puis tenir le dispositif dans la durée reste à faire. Le tableau détaillé des exigences, article par article, avec le rôle visé et ce que la stack couvre, est dans la partie VI de la méthode.
Ce que la formation a couvert et ce que vous faites lundi
Section intitulée « Ce que la formation a couvert et ce que vous faites lundi »Les indicateurs de premier rang changent : dérive, fidélité, hallucination et temps au premier jeton passent devant le processeur, la latence p95 et le taux d’erreur. Les conventions GenAI rendent l’instrumentation portable, à condition d’absorber leurs évolutions dans le Collector. Une stack autohébergée (dans le kit : OpenTelemetry, VictoriaMetrics, Tempo, Grafana et Phoenix) couvre ces besoins ; d’autres combinaisons, open source ou commerciales, le font aussi et l’instrumentation OpenTelemetry garde le choix réversible.
Lundi, je recommande de commencer petit : choisissez une seule chaîne (celle qui compte le plus pour vos utilisateurs) et appliquez-lui la première étape du plan, celle des 30 jours. La maturité se construit dans cet ordre : instrumenter, évaluer, puis gouverner.
Pour continuer
Section intitulée « Pour continuer »- Observer un système LLM : la stack de production, MCP, confidentialité.
- Méthode d’observabilité GenAI : SLO de qualité, impact chiffré, conformité, organisation.
- Au-delà du LLM : GPU et qualité des modèles : infrastructure GPU et détection statistique de dérive.
- Conventions GenAI : dépôt
semantic-conventions-genai(depuis la version 1.42 des conventions). - Documentation Phoenix, RAGAS, Evidently et VictoriaMetrics.
Révisé le 2 octobre 2026 : section AI Act corrigée (rôles de fournisseur et de déployeur, article 26 et conservation des journaux, article 50 applicable à tout système conversationnel, calendrier issu du règlement (UE) 2026/1744), lien vers le nouveau dépôt des conventions GenAI.
Révisé le 4 octobre 2026 : jalons du plan à 30, 60 et 90 jours rapportés aux niveaux de maturité du guide, « réentraînement » remplacé par les changements réels d’un LLM appelé par API (prompt, récupération, version de modèle) ; « Qui regarde quoi » et la section AI Act résumés avec renvoi aux parties VII et VI de la méthode, où se trouve désormais le tableau des exigences par rôle.