Aller au contenu

TechniquePratique3 min de lecture

Comment est construit un cluster de calcul pour l'IA ?

Ordonnanceur Slurm, nœuds de 8 GPU H100, NVLink, InfiniBand NDR, stockage parallèle : cliquez sur chaque élément pour voir à quoi il sert, ce qu'on y surveille et ce qui le menace, puis jouez un pas d'entraînement avec ou sans GPU retardataire.

Pour : ingénieurs et SRE · architectesPrérequis : Notions de base sur les GPU et l'entraînement distribué.

Mode de lecture

Scénario illustratif : une équipe de recherche réserve des GPU pour entraîner un modèle. L’entraînement prend nettement plus longtemps que prévu, alors que le tableau de bord affiche des cartes occupées presque à plein. Où passe le temps ? Et, question que la sécurité posera tôt ou tard, qui peut accéder au modèle obtenu ?

Un cluster d’entraînement ressemble à un atelier de fabrication. Les postes de travail sont les nœuds, des serveurs qui contiennent chacun plusieurs cartes de calcul (les GPU). Les postes communiquent par des couloirs très rapides : c’est l’interconnect, NVLink à l’intérieur d’un nœud, InfiniBand entre les nœuds. Les matières premières et les produits finis sont rangés dans un entrepôt partagé, le stockage parallèle, où tout le monde lit et écrit en même temps. Un chef d’atelier répartit le travail : l’ordonnanceur, ici Slurm, qui attribue les machines à chaque tâche (un job). Enfin, une couche de logiciels fait tourner l’entraînement lui-même.

Le schéma montre une version réduite de cet atelier : deux nœuds de 8 GPU NVIDIA H100 SXM. Chaque élément ouvre une fiche qui dit à quoi il sert, ce qu’on y surveille et avec quel outil, puis ce qui le menace. Le mode Observer place les outils de collecte et leurs signaux. Le mode Menaces pose les six voies d’attaque décrites dans le chapitre de référence sur les parties qu’elles visent.

Cliquez sur un élément du schéma, ou parcourez-le au clavier (Tab, puis Entrée ou Espace) : sa fiche s’ouvre sous le schéma.

Faites glisser le schéma horizontalement pour le voir en entier.

Cluster HPC IA : ordonnanceur Slurm, deux nœuds de 8 GPU H100 reliés par NVLink, interconnect InfiniBand NDR, stockage parallèle, poids du modèle et plan d’observabilitéPlan d'observabilitécollecte · stockage · GrafanaL4 · Ordonnanceur Slurmslurm-exporterNœud GPU 1 · 8 × H100 SXMdcgm-exporterFalco · TetragonL5 · CUDA · PyTorch · NCCLL5 · profileur PyTorch · logs NCCLGPU 0GPU 1GPU 2GPU 3GPU 4GPU 5GPU 6GPU 7NVLink · 900 Go/sNœud GPU 2 · 8 × H100 SXMdcgm-exporterFalco · TetragonL5 · CUDA · PyTorch · NCCLL5 · profileur PyTorch · logs NCCLGPU 8GPU 9GPU 10GPU 11GPU 12GPU 13GPU 14GPU 15NVLink · 900 Go/sL2 · InfiniBand NDR · 400 Gb/s · fat tree · RDMAibstat · perfqueryL3 · Stockage parallèleLustre / IBM Storage Scalemétriques LustrePoids du modèleactif à protégervisé par les 6 vecteurseBPF · Falco165234

Où sont les collecteurs

Les six vecteurs de menace

  1. Chargement
  2. Passe avant
  3. Passe arrière
  4. AllReduce NCCL
  5. Optimiseur
  6. Attente à la barrière

Exemple illustratif : durées construites d'après l'ordre de grandeur du chapitre 2 (un pas d'environ 42 ms) ; le traînard met deux fois plus de temps pour sa passe arrière. Pour le détail : le pas d'entraînement animé et le simulateur d'effet traînard.

  1. Ouvrez un GPU, puis le nœud qui le contient. Le GPU publie ses compteurs par un petit programme, dcgm-exporter. Seuls, ces compteurs ne disent pas pour qui la carte travaille. C’est le label hpc_job, une étiquette écrite par Slurm au début et à la fin de chaque job (les scripts prolog et epilog), qui les rattache à un job, puis à un utilisateur et à un compte.
  2. Jouez un pas d’entraînement sans retardataire, puis avec. À chaque pas, les GPU doivent mettre leurs résultats en commun (l’AllReduce) et s’attendent pour cela à une barrière. Avec un GPU lent, un traînard, tous les autres s’arrêtent à cette barrière : la durée du pas s’aligne sur le plus lent, alors que chaque GPU semble occupé.
  3. Passez en mode Menaces et ouvrez la voie d’attaque 3. Les échanges directs entre machines (le trafic RDMA) contournent le système d’exploitation : ni pare-feu ni sonde eBPF ne les voient. Les seuls signaux disponibles sont les compteurs InfiniBand, les mêmes que ceux de l’exploitation.
  4. Ouvrez les poids du modèle, c’est-à-dire le résultat de l’entraînement. Les six voies d’attaque convergent vers eux et les outils qui les protègent sont ceux du mode Observer.