TechniquePratique5 min de lectureVidéo
Anatomie d'un pas d'entraînement distribué
Chargement des données, passe avant, passe arrière, AllReduce NCCL, optimiseur : ce qui se passe vraiment pendant un pas et pourquoi un taux d'utilisation GPU élevé peut cacher peu de calcul utile.
Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu le chapitre 1 de la formation.
Pensez à un groupe de trente-deux randonneurs qui doivent tous se retrouver au sommet de chaque col avant de repartir ensemble. Le groupe avance au rythme du plus lent. Qu’un seul randonneur boite et les trente et un autres passent leur temps assis au sommet, à attendre. Vus de loin, ils sont tous « en randonnée ». En réalité, la plupart ne marchent pas.
Un entraînement distribué fonctionne de la même façon. Il avance par pas : à chaque pas, chaque GPU traite un lot de données, puis tous mettent leurs résultats en commun avant de passer au lot suivant. Ce chapitre décompose un pas et montre pourquoi un tableau de bord peut afficher des GPU très occupés qui calculent peu.
Les cinq phases d’un pas
Section intitulée « Les cinq phases d’un pas »Un pas enchaîne cinq phases. D’abord, on charge les données et on les envoie au GPU. Puis vient la passe avant : les données traversent le modèle, couche par couche, jusqu’à une prédiction. La passe arrière mesure l’erreur de cette prédiction (la perte) et remonte le modèle en sens inverse pour calculer les gradients, c’est-à-dire la correction à appliquer à chaque paramètre. Vient ensuite l’AllReduce, l’échange où tous les GPU font la moyenne de leurs gradients, organisé par NCCL, la bibliothèque de communication de NVIDIA. Le pas d’optimiseur, enfin, applique la correction moyenne à tous les paramètres.
Le tableau ci-dessous détaille chaque phase et ce qui la ralentit. Quelques termes : les workers sont des processus annexes qui préparent les données ; tokeniser, c’est découper le texte en jetons (des morceaux de mots) ; la mémoire épinglée est une zone de mémoire du CPU réservée pour que le transfert vers le GPU se fasse directement (DMA, accès direct à la mémoire) par le bus PCIe ; AdamW est l’algorithme d’optimisation le plus courant.
| Phase | Ce qui se passe | Si elle est lente |
|---|---|---|
| 1. Chargement et transfert vers le GPU | les workers lisent depuis Lustre, tokenisent, chargent en mémoire CPU épinglée, puis transfert DMA vers le GPU par PCIe (de l’ordre de 16 à 64 Go/s selon la génération) ; doit se recouvrir avec le lot précédent | la charge est limitée par les entrées-sorties |
| 2. Passe avant | les données traversent le modèle couche par couche ; chaque couche est surtout une multiplication de matrices, découpée en tuiles sur les Streaming Multiprocessors ; les activations restent en HBM pour la passe arrière | calcul ou mémoire saturés |
| 3. Passe arrière | calcul de la perte, puis rétropropagation de l’erreur couche par couche ; chaque GPU calcule ses gradients sur son propre sous-ensemble de données | idem |
| 4. AllReduce (NCCL) | un ring AllReduce fait la moyenne des gradients de tous les GPU via InfiniBand ; sa part du temps de pas varie beaucoup selon la taille du modèle, le réseau et le recouvrement avec le calcul | réseau ou traînard |
| 5. Pas d’optimiseur | AdamW met à jour tous les paramètres en parallèle ; le cycle repart sur le lot suivant | rarement limitant |
Dans un ring AllReduce, les GPU sont disposés en anneau et chacun passe une part des gradients à son voisin, tour après tour, jusqu’à ce que tous aient la moyenne complète.
Un pas sur quatre nœuds et 32 GPU
Section intitulée « Un pas sur quatre nœuds et 32 GPU »Voici le pas vu dans le temps, GPU par GPU :
0 ms ~8 ms ~16 ms ~28 ms ~42 ms |-----------|--------------|-------------------|-----------------------| GPU 0 [chargement][ passe avant ][ passe arrière ][ AllReduce NCCL ][opt] GPU 1 [chargement][ passe avant ][ passe arrière ][ AllReduce NCCL ][opt] GPU 2 [chargement][ passe avant ][ passe arrière ........ ][ AllReduce ][opt] <- traînard GPU 3 [chargement][ passe avant ][ passe arrière ][ attente... ][opt] ... ^ barrière de synchronisationL’AllReduce agit comme le sommet du col : c’est une barrière de synchronisation. Tous les GPU y attendent que le plus lent ait fini. Le GPU 2, ici, met plus longtemps que les autres à terminer sa passe arrière ; on l’appelle un traînard. Il suffit d’un seul GPU lent pour ralentir les 32.
Pourquoi 87 % d’utilisation ne veut pas dire 87 % de calcul ?
Section intitulée « Pourquoi 87 % d’utilisation ne veut pas dire 87 % de calcul ? »Prenons un exemple illustratif, aux valeurs construites pour l’explication (ce n’est pas une mesure). Le tableau de bord affiche une utilisation GPU de 87 %. Pourtant, le temps réellement passé à calculer ne représente qu’environ 19 % du pas, tandis que 43 % du pas s’écoulent dans l’AllReduce NCCL.
L’écart vient de ce que mesure l’indicateur. L’utilisation GPU dit si le GPU a quelque chose en cours, pas s’il calcule utilement. Un GPU qui attend la fin d’une communication collective est compté comme occupé, comme nos randonneurs assis au sommet comptent comme « en randonnée ». Un traînard peut ainsi faire perdre une part importante de l’efficacité globale sans déclencher la moindre alerte. Le simulateur cité plus bas permet d’en chiffrer des scénarios.
Révisé le 2 octobre 2026 : part de l’AllReduce dans le temps de pas présentée comme variable au lieu d’une fourchette non sourcée, exemple des 87 % présenté comme construit pour l’explication et non comme un profilage, perte d’efficacité due au traînard renvoyée au simulateur au lieu d’un pourcentage non sourcé.