Aller au contenu

TechniquePratique5 min de lecture

Architecture d'un cluster HPC IA

Les cinq couches d'un cluster d'entraînement IA : nœuds GPU, interconnect, stockage parallèle, ordonnanceur, stack logicielle. Pour chacune, ce qu'on observe et ce qu'on protège.

Pour : ingénieurs et SRE · architectesPrérequis : Notions de base sur le HPC : nœud, ordonnanceur, interconnect.

Scénario illustratif. Une équipe de recherche signale que son entraînement, d’habitude régulier, avance deux fois moins vite depuis la veille. Le problème peut venir d’un GPU qui chauffe, d’un câble réseau qui perd des paquets, d’un stockage saturé par un autre job, d’une file d’attente mal réglée ou d’une mise à jour de bibliothèque. Pour chercher vite, il faut savoir de quelles couches le cluster est fait et ce que chacune peut dire d’elle-même.

Un cluster d’entraînement ressemble à un immeuble de bureaux. Dans chaque étage (un nœud), les collègues (les GPU) se parlent par un couloir très court ; entre étages, ils passent par l’ascenseur (le réseau), plus lent. Tout le monde va chercher ses dossiers aux archives du sous-sol (le stockage) et l’accueil (l’ordonnanceur) décide qui occupe quel bureau.

flowchart TB
  SCHED["Ordonnanceur Slurm / PBS"]
  subgraph N1["Nœud GPU 1"]
    direction LR
    G0["GPU 0<br/>80 Go HBM"] --- G1["GPU 1"] --- G2["GPU 2"] --- G3["GPU 3"]
  end
  subgraph N2["Nœud GPU 2"]
    direction LR
    G4["GPU 4"] --- G5["GPU 5"] --- G6["GPU 6"] --- G7["GPU 7"]
  end
  IB["InfiniBand / RoCE<br/>latence de l'ordre de la microseconde"]
  FS["Stockage parallèle<br/>Lustre / IBM Storage Scale / BeeGFS"]
  SCHED --> N1
  SCHED --> N2
  N1 <--> IB
  N2 <--> IB
  IB <--> FS

À l’intérieur d’un nœud, les GPU communiquent par NVLink, la liaison directe de NVIDIA entre GPU. Entre nœuds, ils passent par InfiniBand, un réseau conçu pour le calcul, ou par RoCE, de l’Ethernet capable de transferts directs de mémoire à mémoire. Le stockage parallèle alimente tout le monde ; l’ordonnanceur décide qui tourne où.

Quelques termes reviennent dans le tableau. La HBM (High Bandwidth Memory) est la mémoire très rapide soudée au GPU. Les SM (Streaming Multiprocessors) sont les blocs de calcul du GPU : leur taux d’occupation dit si le GPU travaille vraiment. Les erreurs ECC sont les erreurs détectées par le code de correction de la mémoire ; le bridage est la baisse de fréquence qu’un GPU s’impose quand il chauffe ou dépasse sa consommation autorisée. Une topologie fat tree est un réseau en arbre dont les branches s’élargissent vers le haut, pour que chaque nœud puisse parler à n’importe quel autre à plein débit. NCCL est la bibliothèque de NVIDIA qui organise les échanges entre GPU, dont l’AllReduce, l’opération qui fait la moyenne des gradients de tous les GPU à chaque pas. Les scripts prolog et epilog sont lancés par l’ordonnanceur au début et à la fin de chaque job.

CoucheCe qu’elle contientCe qu’on observeCe qu’on protège
L1. Nœuds GPU4 à 8 GPU par nœud reliés par NVLink (600 Go/s sur A100, 900 Go/s sur H100, 1,8 To/s sur Blackwell), 80 Go de HBM par GPU sur A100 et H100, davantage sur les générations suivantes (141 Go sur H200), 2 CPU d’orchestration, plusieurs centaines de Go de RAM, NVMe local de transitdcgm-exporter : occupation des SM, bande passante HBM, erreurs ECC, bridage, énergiefirmware, mémoire GPU entre jobs
L2. InterconnectInfiniBand HDR (200 Gb/s), NDR (400 Gb/s) ou XDR (800 Gb/s, génération Blackwell), ou RoCE ; topologie fat tree non bloquante ; les gradients y circulent pendant l’AllReduce NCCLibstat, perfquery, compteurs de ports, retransmissionsl’angle mort RDMA
L3. Stockage parallèleLustre ou IBM Storage Scale (anciennement Spectrum Scale, ou GPFS), fichiers répartis sur des dizaines de serveurs, débit agrégé de quelques dizaines de Go/s à plusieurs To/s selon la taille du système ; les GPU ne doivent jamais attendre les donnéesdébit Lustre, latence des métadonnéesintégrité des données d’entraînement
L4. OrdonnanceurSlurm ou PBS : files d’attente, allocation des GPU, isolation entre jobs ; scripts prolog et epilog pour injecter de l’instrumentationslurm-exporter : jobs, files, temps d’attenteisolation entre jobs et entre clients
L5. Stack logicielle MLpilote CUDA ou ROCm, PyTorch ou JAX, NCCL pour les communications collectives, conteneurs Docker ou Apptainer (ex-Singularity)profileur PyTorch, journaux NCCLchaîne d’approvisionnement logicielle

Pour la dernière ligne : CUDA (NVIDIA) et ROCm (AMD) sont les couches logicielles qui pilotent les GPU ; PyTorch et JAX sont les bibliothèques dans lesquelles on écrit les modèles ; Apptainer est un format de conteneur courant en HPC. L’« angle mort RDMA » de la couche L2 est détaillé au chapitre 4.

Revenons à l’entraînement qui ralentit. Les signaux utiles se rangent en quatre familles. Côté GPU, on regarde l’utilisation des SM, la bande passante HBM, les erreurs ECC et le bridage d’horloge. Côté réseau, les compteurs de ports InfiniBand, le taux de retransmission et le débit par lien. Côté stockage, le débit Lustre et la latence des métadonnées (le temps pour ouvrir un fichier ou lister un répertoire). Côté modèle, enfin, la perte (loss, l’erreur que le modèle cherche à réduire), la norme des gradients, la durée de pas et la latence de l’AllReduce.

À mon avis, la quatrième famille est la plus souvent oubliée, alors que c’est elle qui dit si l’entraînement progresse. C’est aussi elle qui aurait montré, dans notre scénario, à quel moment le ralentissement a commencé. Elle doit être rattachée au job et au compte, comme les trois autres.

Révisé le 2 octobre 2026 : ajout de la génération Blackwell (NVLink 5, InfiniBand XDR), IBM Storage Scale à la place de Spectrum Scale, débits de stockage harmonisés avec la formation d’initiation, latence de l’interconnect ramenée à l’ordre de la microseconde.