TechniquePratique3 min de lecture
Comment est construit un cluster de calcul pour l'IA ?
Ordonnanceur Slurm, nœuds de 8 GPU H100, NVLink, InfiniBand NDR, stockage parallèle : cliquez sur chaque élément pour voir à quoi il sert, ce qu'on y surveille et ce qui le menace, puis jouez un pas d'entraînement avec ou sans GPU retardataire.
Pour : ingénieurs et SRE · architectesPrérequis : Notions de base sur les GPU et l'entraînement distribué.
Scénario illustratif : une équipe de recherche réserve des GPU pour entraîner un modèle. L’entraînement prend nettement plus longtemps que prévu, alors que le tableau de bord affiche des cartes occupées presque à plein. Où passe le temps ? Et, question que la sécurité posera tôt ou tard, qui peut accéder au modèle obtenu ?
Un cluster d’entraînement ressemble à un atelier de fabrication. Les postes de travail sont les nœuds, des serveurs qui contiennent chacun plusieurs cartes de calcul (les GPU). Les postes communiquent par des couloirs très rapides : c’est l’interconnect, NVLink à l’intérieur d’un nœud, InfiniBand entre les nœuds. Les matières premières et les produits finis sont rangés dans un entrepôt partagé, le stockage parallèle, où tout le monde lit et écrit en même temps. Un chef d’atelier répartit le travail : l’ordonnanceur, ici Slurm, qui attribue les machines à chaque tâche (un job). Enfin, une couche de logiciels fait tourner l’entraînement lui-même.
Le schéma montre une version réduite de cet atelier : deux nœuds de 8 GPU NVIDIA H100 SXM. Chaque élément ouvre une fiche qui dit à quoi il sert, ce qu’on y surveille et avec quel outil, puis ce qui le menace. Le mode Observer place les outils de collecte et leurs signaux. Le mode Menaces pose les six voies d’attaque décrites dans le chapitre de référence sur les parties qu’elles visent.
Cliquez sur un élément du schéma, ou parcourez-le au clavier (Tab, puis Entrée ou Espace) : sa fiche s’ouvre sous le schéma.
Faites glisser le schéma horizontalement pour le voir en entier.
Où sont les collecteurs
Les six vecteurs de menace
- Chargement
- Passe avant
- Passe arrière
- AllReduce NCCL
- Optimiseur
- Attente à la barrière
Exemple illustratif : durées construites d'après l'ordre de grandeur du chapitre 2 (un pas d'environ 42 ms) ; le traînard met deux fois plus de temps pour sa passe arrière. Pour le détail : le pas d'entraînement animé et le simulateur d'effet traînard.
À essayer
Section intitulée « À essayer »- Ouvrez un GPU, puis le nœud qui le contient. Le GPU publie ses compteurs par un petit programme, dcgm-exporter. Seuls, ces compteurs ne disent pas pour qui la carte travaille. C’est le label
hpc_job, une étiquette écrite par Slurm au début et à la fin de chaque job (les scripts prolog et epilog), qui les rattache à un job, puis à un utilisateur et à un compte. - Jouez un pas d’entraînement sans retardataire, puis avec. À chaque pas, les GPU doivent mettre leurs résultats en commun (l’AllReduce) et s’attendent pour cela à une barrière. Avec un GPU lent, un traînard, tous les autres s’arrêtent à cette barrière : la durée du pas s’aligne sur le plus lent, alors que chaque GPU semble occupé.
- Passez en mode Menaces et ouvrez la voie d’attaque 3. Les échanges directs entre machines (le trafic RDMA) contournent le système d’exploitation : ni pare-feu ni sonde eBPF ne les voient. Les seuls signaux disponibles sont les compteurs InfiniBand, les mêmes que ceux de l’exploitation.
- Ouvrez les poids du modèle, c’est-à-dire le résultat de l’entraînement. Les six voies d’attaque convergent vers eux et les outils qui les protègent sont ceux du mode Observer.
Pour aller plus loin
Section intitulée « Pour aller plus loin »- HPC IA : observabilité et sécurité, architecture de référence, la formation dont ce schéma est tiré
- Architecture d’un cluster HPC IA : les cinq couches
- Anatomie d’un pas d’entraînement distribué : les cinq phases et l’effet traînard
- La stack d’observabilité HPC IA : collecte, stockage, visualisation, eBPF
- Surface d’attaque du HPC IA : les six vecteurs et leur détection
- Le pas d’entraînement animé : le ring AllReduce et la barrière en détail
- Le simulateur de l’effet traînard : l’efficacité perdue de 8 à 1024 GPU