Aller au contenu

TechniquePratique3 min de lecture (+1 technique)

Comment des GPU entraînent-ils un modèle ensemble ?

Huit GPU, cinq phases, une mise en commun en anneau et une barrière : ralentissez un GPU et voyez les autres l'attendre pendant que l'utilisation affichée reste haute.

Pour : ingénieurs et SRE · architectesPrérequis : Notions de base sur l'entraînement de modèles sur GPU.

Mode de lecture

Scénario illustratif : un tableau de bord affiche 90 % d’utilisation sur les huit GPU d’un serveur. Tout le monde est rassuré. Pourtant l’entraînement avance lentement et la facture de calcul grimpe. Ce que le tableau ne montre pas, c’est que sept cartes sur huit passent une bonne partie de leur temps à attendre la huitième.

Pour comprendre pourquoi, imaginez huit correcteurs qui se partagent une pile de copies. Chacun corrige son paquet (pour un GPU, c’est le calcul des gradients, les corrections à apporter au modèle). Ensuite, tous se réunissent pour harmoniser leurs notes et mettre à jour le barème commun : c’est l’AllReduce, la moyenne des gradients de tous les GPU. Cette réunion ne peut pas commencer tant que le dernier correcteur n’a pas fini. C’est la barrière. Si l’un d’eux est plus lent, les sept autres attendent, stylo posé. L’outil de supervision les compte quand même comme occupés.

On appelle cette méthode le parallélisme de données : chaque GPU traite sa part du lot, puis tous mettent leurs résultats en commun. L’animation déroule un pas d’entraînement sur 8 GPU, phase par phase. Le détail des phases est dans le chapitre Anatomie d’un pas d’entraînement distribué.

Paramètres

chargementpasse avantpasse arrièreattenteAllReduceoptimiseur

Les 8 GPU et le ring AllReduce

Chronologie du pas, GPU par GPU

Ce que le pas coûte

Durée du pas
idéal sans traînard
Efficacité de mise à l’échelle
durée idéale / durée réelle
Attente à la barrière
cumul sur les 8 GPU, par pas
Part de l’AllReduce
du temps de pas
Utilisation GPU affichée
GPU « occupé », y compris pendant l’attente et la communication (DCGM_FI_DEV_GPU_UTIL, nvidia-smi)
Calcul utile
calcul nominal × part active des SM, rapporté au pas (proche de DCGM_FI_PROF_SM_ACTIVE)

Durées illustratives : chargement 6 ms, passe avant 10 ms, passe arrière 16 ms, AllReduce 10 ms, optimiseur 2 ms ; le ralentissement s'applique aux passes avant et arrière du traînard. Simplification : les phases sont séquentielles ; en pratique PyTorch DDP recouvre une partie de l'AllReduce avec la passe arrière (gradients regroupés par seaux), ce qui réduit l'attente sans la supprimer.

  1. Regardez un pas sans traînard. Pendant la mise en commun, les GPU sont disposés en anneau (le ring AllReduce) : chacun envoie un huitième de ses gradients à son voisin, quatorze fois de suite. Les sept premiers échanges additionnent les contributions (reduce-scatter : les petites cases de chaque GPU se remplissent). Les sept suivants redistribuent les morceaux déjà moyennés (all-gather). Utilisez « Étape suivante » pour suivre les échanges un par un.
  2. Ralentissez le GPU 2 à 1,5×. Les sept autres finissent leur passe arrière, la phase où ils calculent leurs corrections, puis attendent, hachurés, à la barrière. La durée du pas passe de 44 à 57 ms et l’efficacité tombe vers 77 %. Pourtant l’utilisation GPU affichée augmente : l’attente est comptée comme de l’occupation.
  3. Comparez les deux jauges. À 2×, l’utilisation affichée dépasse 90 % alors que le calcul utile tombe sous 25 %. C’est l’écart de l’exemple illustratif du chapitre de référence : 87 % affichés pour environ 19 % de calcul réel.
  4. Activez le préchargement, qui prépare les données du pas suivant pendant le calcul. Le chargement se recouvre avec le calcul et disparaît presque de la chronologie : le pas raccourcit et le calcul utile progresse. Avec un traînard à 2×, le gain reste de 5 ms, alors que le traînard en coûte 26. On ne corrige pas un problème d’attente entre GPU en accélérant la lecture des données.

Les durées sont des ordres de grandeur choisis pour la lisibilité et les phases s’enchaînent strictement l’une après l’autre. Dans un vrai entraînement, une partie de la mise en commun démarre avant la fin du calcul, ce qui masque un peu l’attente. Le principe ne change pas : la barrière aligne tout le monde sur le plus lent.

Pour les équipes techniques : ce qui se passe en vrai

En pratique, PyTorch DDP lance l’AllReduce par paquets de gradients pendant la passe arrière, ce qui masque une partie de la communication et NCCL découpe chaque envoi en morceaux plus fins. Un ring AllReduce fait circuler environ 2 × (N - 1) / N fois la taille des gradients par GPU.

Le bon indicateur n’est pas le taux d’utilisation des GPU, mais la durée de chaque pas, mesurée pour chaque GPU (on parle de rang). Une alerte sur l’écart entre le GPU le plus lent et la médiane repère le traînard bien mieux qu’une moyenne. Pour savoir si une carte calcule vraiment, il faut des compteurs plus fins que l’utilisation. Pour savoir où part le temps d’un pas, on le décompose entre chargement, calcul et communication, sur quelques pas seulement. Enfin, si le réseau est en cause, ses compteurs et les journaux de la bibliothèque de communication le diront.

Pour les équipes techniques : métriques et outils
QuestionQuoi mesurerAvec quel outil
Le pas ralentit-il ?durée de pas, par rang et en médianeinstrumentation de la boucle d’entraînement (horodatage par pas et par rang), exportée vers une base de séries temporelles (VictoriaMetrics, Prometheus ou un équivalent SaaS)
Y a-t-il un traînard ?écart entre le rang le plus lent et la médianemême métrique, alerte sur l’écart plutôt que sur la moyenne
Le GPU calcule-t-il vraiment ?activité des SM, occupation, utilisation des tensor coresmétriques de profilage DCGM : DCGM_FI_PROF_SM_ACTIVE, DCGM_FI_PROF_SM_OCCUPANCY, DCGM_FI_PROF_PIPE_TENSOR_ACTIVE, via dcgm-exporter
Où part le temps du pas ?décomposition chargement, calcul, communicationPyTorch Profiler ou Nsight Systems sur quelques pas, pas en continu
Le réseau est-il en cause ?latence des collectives, retransmissions et attentes sur les ports InfiniBandlogs NCCL (NCCL_DEBUG=INFO), compteurs de ports InfiniBand

DCGM_FI_DEV_GPU_UTIL, l’équivalent de la colonne d’utilisation de nvidia-smi, mesure seulement la part du temps où un noyau tourne : utile pour repérer un GPU inactif, trompeur pour juger de l’efficacité.

La plateforme de supervision complète est décrite dans La stack d’observabilité HPC IA et le simulateur de l’effet traînard chiffre le coût à l’échelle d’un cluster.