TechniqueExpert6 min de lecture
Au-delà du LLM : GPU et qualité des modèles
Deux modules pour aller au-delà du LLM : l'infrastructure GPU partagée, puis la qualité des modèles dans la durée (ML classique, dérive statistique, réentraînement). Suppose acquise la formation sur l'observabilité des LLM.
Pour : ingénieurs et SRE · architectesPrérequis : Avoir suivi « Observabilité des LLM : les labs » ; expérience de l'industrialisation de modèles d'IA en production.
Ce parcours est la dernière étape de la progression. Il va au-delà du LLM, d’abord vers l’infrastructure GPU, puis vers la qualité des modèles dans la durée. Il s’adresse aux ML engineers, ingénieurs plateforme, SRE et équipes MLOps (celles qui mettent les modèles en production et les y maintiennent) déjà confrontés à l’industrialisation de modèles.
Il suppose acquise la formation Observabilité des LLM : les labs (instrumentation GenAI, RAG, dérives, coût, alertes) et ne la reprend pas. Pour les concepts, voir le guide.
Son périmètre propre est le ML classique (les modèles de prédiction ou de classification sur des données tabulaires, par opposition à l’IA générative), la dérive statistique, le registre de modèles (MLflow) et le réentraînement. Le guide, centré sur l’IA générative, les laisse de côté.
Le parcours compte deux modules, tous deux en préparation. Le module 1 porte sur le monitoring GPU et l’infrastructure IA (DCGM, exportateurs NVIDIA, Slurm, Kubernetes) ; Observabilité HPC : les fondamentaux et l’architecture de référence HPC IA en couvrent déjà une partie. Le module 2 porte sur la détection de dérive avancée et la qualité des modèles (PSI, KS, Wasserstein, Evidently, MLflow, réentraînement).
Module 1 : monitoring GPU et infrastructure IA
Section intitulée « Module 1 : monitoring GPU et infrastructure IA »Sur une infrastructure GPU, le taux d’utilisation dit peu de chose. C’est un peu comme juger une autoroute au nombre de voitures qui y roulent sans regarder les bouchons aux péages. Un GPU affiché à 80 % peut cacher une bande passante mémoire saturée, des tensor cores (les unités spécialisées dans le calcul matriciel) sous-employés ou un goulot réseau entre machines.
Scénario illustratif : un entraînement affiche 85 % d’utilisation alors que la bande passante mémoire est à 99 %. Le goulot est la mémoire et le chiffre d’utilisation ne le montre pas.
Le module apprend d’abord à cartographier les couches d’une infrastructure IA : le GPU, sa mémoire, l’interconnexion entre GPU, l’ordonnanceur qui répartit les jobs, l’application. Il montre ensuite comment déployer l’exportateur DCGM (l’outil de NVIDIA qui expose les métriques des GPU) et collecter les métriques avancées. On y trouve l’occupation des SM (les multiprocesseurs, les blocs de calcul du GPU), l’utilisation des tensor cores, la bande passante mémoire, le bridage thermique (le GPU ralentit quand il chauffe trop), NVLink et NCCL (le lien rapide entre GPU et la bibliothèque qui les fait communiquer) et l’énergie consommée.
Le module couvre aussi l’instrumentation des jobs Slurm (l’ordonnanceur courant des centres de calcul) et des pods Kubernetes IA avec les bons labels, puis la construction d’un tableau de bord exploitable par un SRE qui n’est pas spécialiste de l’IA. Il apprend à reconnaître les schémas problématiques : bande passante saturée, NCCL lent, mémoire insuffisante pendant l’entraînement. Il se termine par la définition des SLO d’une infrastructure IA : disponibilité, taux de dépassement mémoire, temps d’attente, débit.
Deux labs sont prévus (en préparation). Le premier monte une stack DCGM avec un backend de métriques compatible Prometheus et détecte des tensor cores sous-utilisés sur un job synthétique. Le second supervise Slurm ou Kubernetes, avec des métriques par job, le taux d’échec et la répartition des coûts par équipe.
Module 2 : détection de dérive avancée et qualité des modèles
Section intitulée « Module 2 : détection de dérive avancée et qualité des modèles »Un modèle qui prédit le risque de défaut de paiement a été entraîné sur les clients d’il y a deux ans. Depuis, la clientèle a changé. Le modèle continue de répondre, mais sur une population qu’il n’a jamais vue. C’est une dérive, comme une carte routière qui vieillit pendant que les routes changent.
Repérer une dérive ne suffit pas. Il faut encore la qualifier statistiquement et distinguer un vrai changement d’un faux positif, par exemple un pic saisonnier qui reviendra chaque année. Il faut ensuite choisir entre alerter, réentraîner ou laisser passer, puis garder la trace de ces décisions.
Le module commence par distinguer formellement les types de dérive et les ranger dans les trois familles du site (données, concept, pipeline), dont le module 3 de la formation LLM est la référence. Le changement de covariables (covariate shift, les entrées changent), le changement de distribution a priori (prior shift, la proportion des cas change) et la dérive virtuelle relèvent des données. La dérive de concept, où la relation entre entrées et résultat change, relève du concept. Viennent ensuite leurs formes : soudaine, graduelle, incrémentale, récurrente.
Il met ensuite en œuvre les tests statistiques qui comparent deux distributions, sur des variables tabulaires et sur des embeddings : PSI (population stability index), Kolmogorov-Smirnov, Chi², Wasserstein et MMD. On apprend les forces et les limites de chacun. Le module montre aussi comment configurer Evidently ou un équivalent en production.
Il aborde la stratégie de réentraînement, déclenchée par la dérive, par la baisse de performance ou par le calendrier. Le nouveau modèle (le challenger) est comparé à celui en place (le champion) avant de le remplacer, avec un retour arrière sûr. Le module couvre la tenue d’un registre de modèles avec MLflow ou un équivalent. Il traite aussi le lignage de production : savoir quel modèle, entraîné sur quelles données, tourne où.
Il installe enfin un comité qualité IA et ses rituels. Il prépare aussi la documentation technique exigée par l’AI Act pour les systèmes à haut risque. Depuis le règlement (UE) 2026/1744, ces obligations s’appliquent au 2 décembre 2027 pour les systèmes de l’annexe III et au 2 août 2028 pour ceux de l’annexe I.
Trois labs sont prévus (en préparation) : une détection sur variables tabulaires avec gestion des fausses alertes saisonnières, une détection sur embeddings textuels intégrée à un pipeline RAG, puis la chaîne complète qui va de l’alerte Evidently au déploiement contrôlé en passant par un webhook, un job MLflow et une validation.
Pour lundi matin
Section intitulée « Pour lundi matin »En attendant les modules, regardez vos tableaux de bord GPU. S’ils n’affichent que le taux d’utilisation, ajoutez la bande passante mémoire et l’occupation des SM : c’est là que le goulot du scénario ci-dessus se cachait. Côté modèles, notez pour chacun la date et la population de son dernier entraînement. C’est le premier pas vers un registre.
Révisé le 2 octobre 2026 : calendrier de l’AI Act mis à jour après le règlement (UE) 2026/1744, modules 2 et 3 et leurs labs signalés comme en préparation, exemple GPU présenté comme scénario illustratif, mention d’un parcours sécurité inexistant retirée.
Révisé le 4 octobre 2026 : parcours renommé « Au-delà du LLM : GPU et qualité des modèles », la formation sur les LLM devient un prérequis et non plus un module, modules renumérotés, termes de dérive rangés dans la taxonomie du site (données, concept, pipeline) avec renvoi au module 3 de la formation LLM, périmètre propre précisé (ML classique, MLflow, réentraînement), page passée en MDX avec l’encart de progression.
Révisé le 25 octobre 2026 : page réécrite pour un public plus large (images, termes expliqués, objectifs rédigés en prose), sans changement de fond.