Aller au contenu

TechniquePratique5 min de lectureVidéo

Anatomie d'un pas d'entraînement distribué

Chargement des données, passe avant, passe arrière, AllReduce NCCL, optimiseur : ce qui se passe vraiment pendant un pas et pourquoi un taux d'utilisation GPU élevé peut cacher peu de calcul utile.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu le chapitre 1 de la formation.

Pensez à un groupe de trente-deux randonneurs qui doivent tous se retrouver au sommet de chaque col avant de repartir ensemble. Le groupe avance au rythme du plus lent. Qu’un seul randonneur boite et les trente et un autres passent leur temps assis au sommet, à attendre. Vus de loin, ils sont tous « en randonnée ». En réalité, la plupart ne marchent pas.

Un entraînement distribué fonctionne de la même façon. Il avance par pas : à chaque pas, chaque GPU traite un lot de données, puis tous mettent leurs résultats en commun avant de passer au lot suivant. Ce chapitre décompose un pas et montre pourquoi un tableau de bord peut afficher des GPU très occupés qui calculent peu.

Un pas enchaîne cinq phases. D’abord, on charge les données et on les envoie au GPU. Puis vient la passe avant : les données traversent le modèle, couche par couche, jusqu’à une prédiction. La passe arrière mesure l’erreur de cette prédiction (la perte) et remonte le modèle en sens inverse pour calculer les gradients, c’est-à-dire la correction à appliquer à chaque paramètre. Vient ensuite l’AllReduce, l’échange où tous les GPU font la moyenne de leurs gradients, organisé par NCCL, la bibliothèque de communication de NVIDIA. Le pas d’optimiseur, enfin, applique la correction moyenne à tous les paramètres.

Le tableau ci-dessous détaille chaque phase et ce qui la ralentit. Quelques termes : les workers sont des processus annexes qui préparent les données ; tokeniser, c’est découper le texte en jetons (des morceaux de mots) ; la mémoire épinglée est une zone de mémoire du CPU réservée pour que le transfert vers le GPU se fasse directement (DMA, accès direct à la mémoire) par le bus PCIe ; AdamW est l’algorithme d’optimisation le plus courant.

PhaseCe qui se passeSi elle est lente
1. Chargement et transfert vers le GPUles workers lisent depuis Lustre, tokenisent, chargent en mémoire CPU épinglée, puis transfert DMA vers le GPU par PCIe (de l’ordre de 16 à 64 Go/s selon la génération) ; doit se recouvrir avec le lot précédentla charge est limitée par les entrées-sorties
2. Passe avantles données traversent le modèle couche par couche ; chaque couche est surtout une multiplication de matrices, découpée en tuiles sur les Streaming Multiprocessors ; les activations restent en HBM pour la passe arrièrecalcul ou mémoire saturés
3. Passe arrièrecalcul de la perte, puis rétropropagation de l’erreur couche par couche ; chaque GPU calcule ses gradients sur son propre sous-ensemble de donnéesidem
4. AllReduce (NCCL)un ring AllReduce fait la moyenne des gradients de tous les GPU via InfiniBand ; sa part du temps de pas varie beaucoup selon la taille du modèle, le réseau et le recouvrement avec le calculréseau ou traînard
5. Pas d’optimiseurAdamW met à jour tous les paramètres en parallèle ; le cycle repart sur le lot suivantrarement limitant

Dans un ring AllReduce, les GPU sont disposés en anneau et chacun passe une part des gradients à son voisin, tour après tour, jusqu’à ce que tous aient la moyenne complète.

Voici le pas vu dans le temps, GPU par GPU :

0 ms ~8 ms ~16 ms ~28 ms ~42 ms
|-----------|--------------|-------------------|-----------------------|
GPU 0 [chargement][ passe avant ][ passe arrière ][ AllReduce NCCL ][opt]
GPU 1 [chargement][ passe avant ][ passe arrière ][ AllReduce NCCL ][opt]
GPU 2 [chargement][ passe avant ][ passe arrière ........ ][ AllReduce ][opt] <- traînard
GPU 3 [chargement][ passe avant ][ passe arrière ][ attente... ][opt]
... ^ barrière de synchronisation

L’AllReduce agit comme le sommet du col : c’est une barrière de synchronisation. Tous les GPU y attendent que le plus lent ait fini. Le GPU 2, ici, met plus longtemps que les autres à terminer sa passe arrière ; on l’appelle un traînard. Il suffit d’un seul GPU lent pour ralentir les 32.

Pourquoi 87 % d’utilisation ne veut pas dire 87 % de calcul ?

Section intitulée « Pourquoi 87 % d’utilisation ne veut pas dire 87 % de calcul ? »

Prenons un exemple illustratif, aux valeurs construites pour l’explication (ce n’est pas une mesure). Le tableau de bord affiche une utilisation GPU de 87 %. Pourtant, le temps réellement passé à calculer ne représente qu’environ 19 % du pas, tandis que 43 % du pas s’écoulent dans l’AllReduce NCCL.

L’écart vient de ce que mesure l’indicateur. L’utilisation GPU dit si le GPU a quelque chose en cours, pas s’il calcule utilement. Un GPU qui attend la fin d’une communication collective est compté comme occupé, comme nos randonneurs assis au sommet comptent comme « en randonnée ». Un traînard peut ainsi faire perdre une part importante de l’efficacité globale sans déclencher la moindre alerte. Le simulateur cité plus bas permet d’en chiffrer des scénarios.

Révisé le 2 octobre 2026 : part de l’AllReduce dans le temps de pas présentée comme variable au lieu d’une fourchette non sourcée, exemple des 87 % présenté comme construit pour l’explication et non comme un profilage, perte d’efficacité due au traînard renvoyée au simulateur au lieu d’un pourcentage non sourcé.