Aller au contenu

TechniquePratique3 min de lecture

Pourquoi un seul GPU lent ralentit tout l'entraînement ?

Un pas d'entraînement synchrone dure autant que son GPU le plus lent : mesurez l'efficacité perdue, les GPU-heures gaspillées et l'écart entre l'utilisation affichée et le calcul utile.

Pour : ingénieurs et SRE · architectesPrérequis : Notions de base sur l'entraînement distribué sur GPU. Le schéma « GPU qui travaillent ensemble » suffit pour démarrer.

Mode de lecture

Scénario illustratif : une équipe loue 64 GPU pour un mois afin d’entraîner un modèle. Une des cartes chauffe un peu et tourne à 70 % de sa vitesse. Personne ne le remarque : le tableau de bord affiche toutes les cartes occupées. À la fin du mois, l’entraînement a pris du retard et une part de la facture a payé de l’attente.

Pensez à une randonnée en groupe. À chaque pause, tout le monde attend le dernier avant de repartir. Si un marcheur a mal au genou, le groupe entier avance à son rythme, même si les autres sont en pleine forme. Un entraînement distribué fonctionne de la même manière. Chaque GPU calcule sa part du travail, puis tous se retrouvent à un point de rendez-vous, la barrière, pour mettre leurs résultats en commun (l’opération s’appelle l’AllReduce). Le pas ne peut finir que lorsque le plus lent a terminé. Un seul GPU dégradé, qu’on appelle un traînard (straggler), impose son rythme à tous les autres. Et pendant qu’ils l’attendent, les GPU sont comptés « occupés ».

Le simulateur aide à trancher une question : combien vous coûte ce retard, à votre échelle ? Il exprime la perte en GPU-heures, l’unité de facturation du calcul (un GPU pendant une heure). Les prix changent vite et varient selon les contrats : ce guide n’en donne pas ; utilisez la grille datée de votre fournisseur. Saisissez votre prix d’une GPU-heure, ou votre coût interne, pour voir la perte en euros.

Paramètres

Résultat

Durée du pas
Efficacité par rapport à l’idéal
GPU-heures perdues par jour
Coût du temps perdu par jour
Utilisation GPU affichée
le GPU est compté occupé pendant l’attente et l’AllReduce
Calcul utile
calcul nominal rapporté à la durée du pas
Chronogramme d’un pas
  • Chargement
  • Calcul
  • Attente à la barrière
  • AllReduce
Valeurs des GPU affichés
GPUVitesseCalculAttente

Modèle simplifié de parallélisme de données : chaque GPU calcule son lot, tous attendent le plus lent à la barrière, puis l’AllReduce dure le même temps pour tous. L’idéal suppose tous les GPU à la vitesse nominale, sans variabilité. Le pas d’optimiseur et le recouvrement calcul et communication sont ignorés. La variabilité est un tirage unique et reproductible (graine fixe), pas une moyenne : l’efficacité attendue peut différer de quelques points. Ordres de grandeur.

  1. Partez du réglage par défaut : un seul GPU à 70 % sur 64. L’efficacité tombe à environ 76 %, soit 367 GPU-heures perdues par jour sur 1 536 disponibles et 11 001 sur 30 jours. Passez à 1 024 GPU : l’efficacité est la même, mais les GPU-heures perdues sont multipliées par seize (5 867 par jour, 176 008 sur 30 jours). Le coût d’un traînard croît avec la taille du cluster.
  2. Mettez 0 GPU ralenti et une variabilité de 5 % : aucune carte n’est défaillante, chacune varie simplement un peu d’un pas à l’autre. Comparez 8 GPU et 1 024 GPU. L’efficacité affichée passe d’environ 99 % à environ 90 %, car plus il y a de GPU, plus le plus lent s’éloigne de la moyenne. Même un parc sain perd de l’efficacité en grandissant, simplement parce qu’il y a toujours un GPU un peu en retard.
  3. Comparez l’utilisation affichée et le calcul utile. Avec un traînard, l’utilisation affichée reste proche de 100 % alors que le calcul utile baisse. Aucune alerte fondée sur l’utilisation des GPU ne se déclenchera.
  4. Portez la mise en commun (l’AllReduce) à 200 ms, comme si le réseau était plus chargé. L’efficacité par rapport à l’idéal remonte même un peu, parce que le traînard pèse moins dans un pas plus long. Mais le calcul utile baisse encore : le réseau devient le sujet et l’optimisation ne se joue plus sur les GPU.
Pour les équipes techniques : le tirage du simulateur

Pour l’essai 2, le simulateur fait un seul tirage, reproductible (graine fixe) et ce tirage est favorable à 8 GPU. En moyenne sur de nombreux tirages, l’efficacité attendue est plutôt d’environ 95 % à 8 GPU et 89 % à 1 024 GPU. L’écart se resserre, la tendance reste.

La durée d’un pas synchrone est le maximum des durées de calcul, pas leur moyenne. Comme pour la randonnée, plus le groupe est grand, plus il y a de chances qu’un marcheur traîne : le phénomène est structurel et s’aggrave avec l’échelle. Je recommande donc de suivre la durée de pas et sa décomposition pour chaque GPU (on parle de rang), avec une alerte sur l’écart entre le rang le plus lent et la médiane, plutôt que le taux d’utilisation des GPU.

Pour aller plus loin : anatomie d’un pas d’entraînement, le plan technique, le coût de l’observabilité pour le business et les passerelles entre les plans.

Révisé le 2 octobre 2026 : prix retirés ; la perte s’affiche en GPU-heures et en euros seulement avec votre prix.