TechniquePratique5 min de lecture
Architecture d'un cluster HPC IA
Les cinq couches d'un cluster d'entraînement IA : nœuds GPU, interconnect, stockage parallèle, ordonnanceur, stack logicielle. Pour chacune, ce qu'on observe et ce qu'on protège.
Pour : ingénieurs et SRE · architectesPrérequis : Notions de base sur le HPC : nœud, ordonnanceur, interconnect.
Scénario illustratif. Une équipe de recherche signale que son entraînement, d’habitude régulier, avance deux fois moins vite depuis la veille. Le problème peut venir d’un GPU qui chauffe, d’un câble réseau qui perd des paquets, d’un stockage saturé par un autre job, d’une file d’attente mal réglée ou d’une mise à jour de bibliothèque. Pour chercher vite, il faut savoir de quelles couches le cluster est fait et ce que chacune peut dire d’elle-même.
La topologie physique
Section intitulée « La topologie physique »Un cluster d’entraînement ressemble à un immeuble de bureaux. Dans chaque étage (un nœud), les collègues (les GPU) se parlent par un couloir très court ; entre étages, ils passent par l’ascenseur (le réseau), plus lent. Tout le monde va chercher ses dossiers aux archives du sous-sol (le stockage) et l’accueil (l’ordonnanceur) décide qui occupe quel bureau.
flowchart TB
SCHED["Ordonnanceur Slurm / PBS"]
subgraph N1["Nœud GPU 1"]
direction LR
G0["GPU 0<br/>80 Go HBM"] --- G1["GPU 1"] --- G2["GPU 2"] --- G3["GPU 3"]
end
subgraph N2["Nœud GPU 2"]
direction LR
G4["GPU 4"] --- G5["GPU 5"] --- G6["GPU 6"] --- G7["GPU 7"]
end
IB["InfiniBand / RoCE<br/>latence de l'ordre de la microseconde"]
FS["Stockage parallèle<br/>Lustre / IBM Storage Scale / BeeGFS"]
SCHED --> N1
SCHED --> N2
N1 <--> IB
N2 <--> IB
IB <--> FS
À l’intérieur d’un nœud, les GPU communiquent par NVLink, la liaison directe de NVIDIA entre GPU. Entre nœuds, ils passent par InfiniBand, un réseau conçu pour le calcul, ou par RoCE, de l’Ethernet capable de transferts directs de mémoire à mémoire. Le stockage parallèle alimente tout le monde ; l’ordonnanceur décide qui tourne où.
Les cinq couches
Section intitulée « Les cinq couches »Quelques termes reviennent dans le tableau. La HBM (High Bandwidth Memory) est la mémoire très rapide soudée au GPU. Les SM (Streaming Multiprocessors) sont les blocs de calcul du GPU : leur taux d’occupation dit si le GPU travaille vraiment. Les erreurs ECC sont les erreurs détectées par le code de correction de la mémoire ; le bridage est la baisse de fréquence qu’un GPU s’impose quand il chauffe ou dépasse sa consommation autorisée. Une topologie fat tree est un réseau en arbre dont les branches s’élargissent vers le haut, pour que chaque nœud puisse parler à n’importe quel autre à plein débit. NCCL est la bibliothèque de NVIDIA qui organise les échanges entre GPU, dont l’AllReduce, l’opération qui fait la moyenne des gradients de tous les GPU à chaque pas. Les scripts prolog et epilog sont lancés par l’ordonnanceur au début et à la fin de chaque job.
| Couche | Ce qu’elle contient | Ce qu’on observe | Ce qu’on protège |
|---|---|---|---|
| L1. Nœuds GPU | 4 à 8 GPU par nœud reliés par NVLink (600 Go/s sur A100, 900 Go/s sur H100, 1,8 To/s sur Blackwell), 80 Go de HBM par GPU sur A100 et H100, davantage sur les générations suivantes (141 Go sur H200), 2 CPU d’orchestration, plusieurs centaines de Go de RAM, NVMe local de transit | dcgm-exporter : occupation des SM, bande passante HBM, erreurs ECC, bridage, énergie | firmware, mémoire GPU entre jobs |
| L2. Interconnect | InfiniBand HDR (200 Gb/s), NDR (400 Gb/s) ou XDR (800 Gb/s, génération Blackwell), ou RoCE ; topologie fat tree non bloquante ; les gradients y circulent pendant l’AllReduce NCCL | ibstat, perfquery, compteurs de ports, retransmissions | l’angle mort RDMA |
| L3. Stockage parallèle | Lustre ou IBM Storage Scale (anciennement Spectrum Scale, ou GPFS), fichiers répartis sur des dizaines de serveurs, débit agrégé de quelques dizaines de Go/s à plusieurs To/s selon la taille du système ; les GPU ne doivent jamais attendre les données | débit Lustre, latence des métadonnées | intégrité des données d’entraînement |
| L4. Ordonnanceur | Slurm ou PBS : files d’attente, allocation des GPU, isolation entre jobs ; scripts prolog et epilog pour injecter de l’instrumentation | slurm-exporter : jobs, files, temps d’attente | isolation entre jobs et entre clients |
| L5. Stack logicielle ML | pilote CUDA ou ROCm, PyTorch ou JAX, NCCL pour les communications collectives, conteneurs Docker ou Apptainer (ex-Singularity) | profileur PyTorch, journaux NCCL | chaîne d’approvisionnement logicielle |
Pour la dernière ligne : CUDA (NVIDIA) et ROCm (AMD) sont les couches logicielles qui pilotent les GPU ; PyTorch et JAX sont les bibliothèques dans lesquelles on écrit les modèles ; Apptainer est un format de conteneur courant en HPC. L’« angle mort RDMA » de la couche L2 est détaillé au chapitre 4.
Quatre familles de signaux
Section intitulée « Quatre familles de signaux »Revenons à l’entraînement qui ralentit. Les signaux utiles se rangent en quatre familles. Côté GPU, on regarde l’utilisation des SM, la bande passante HBM, les erreurs ECC et le bridage d’horloge. Côté réseau, les compteurs de ports InfiniBand, le taux de retransmission et le débit par lien. Côté stockage, le débit Lustre et la latence des métadonnées (le temps pour ouvrir un fichier ou lister un répertoire). Côté modèle, enfin, la perte (loss, l’erreur que le modèle cherche à réduire), la norme des gradients, la durée de pas et la latence de l’AllReduce.
À mon avis, la quatrième famille est la plus souvent oubliée, alors que c’est elle qui dit si l’entraînement progresse. C’est aussi elle qui aurait montré, dans notre scénario, à quel moment le ralentissement a commencé. Elle doit être rattachée au job et au compte, comme les trois autres.
Révisé le 2 octobre 2026 : ajout de la génération Blackwell (NVLink 5, InfiniBand XDR), IBM Storage Scale à la place de Spectrum Scale, débits de stockage harmonisés avec la formation d’initiation, latence de l’interconnect ramenée à l’ordre de la microseconde.