TechniqueDécouverte4 min de lecture
HPC et IA
Deux mondes devenus un : ce qui a convergé entre calcul scientifique et IA, ce qui les distingue encore et pourquoi observer un entraînement devient une spécialité, chiffres à l'appui.
Pour : ingénieurs et SRE · architectes · managers d’équipe · direction et DSIPrérequis : Avoir lu la leçon 2 du parcours.
Scénario illustratif. Le responsable d’un centre de calcul universitaire a passé quinze ans à servir des physiciens et des climatologues. Un lundi, une équipe d’IA lui demande 64 GPU pendant sept jours pour entraîner un modèle. Il s’attend à un monde étranger. En réalité, il retrouve ses machines, son réseau, son stockage et son ordonnanceur. Ce qui change, ce sont les mots employés, les indicateurs à surveiller et le prix d’une panne.
Deux mondes devenus un
Section intitulée « Deux mondes devenus un »Jusque vers 2018, les deux mondes vivaient séparés. Le HPC, c’étaient des grappes de processeurs classiques qui faisaient de la simulation en double précision et communiquaient par MPI. L’IA tournait sur quelques GPU avec de petits jeux de données. Matériel, outils et conférences étaient distincts.
Aujourd’hui, les deux se retrouvent sur la même installation : des milliers de GPU reliés par un interconnect très rapide, un stockage parallèle et un ordonnanceur partagés, des méthodes d’observabilité et d’exploitation comparables. L’IA à grande échelle tourne donc sur la même fondation que le HPC classique. Ce sont surtout les termes et les indicateurs suivis qui changent.
Ce qui distingue encore l’IA du HPC classique
Section intitulée « Ce qui distingue encore l’IA du HPC classique »La première différence tient à la précision des calculs. Un nombre, dans un ordinateur, est stocké sur un certain nombre de bits (les chiffres binaires, 0 ou 1) : plus il y en a, plus le nombre est précis. Le HPC classique exige souvent la double précision, sur 64 bits (on écrit FP64), pour que la simulation reste stable : c’est l’équivalent de compter au centime près. L’IA tolère le 16 bits, voire le 8 bits, un peu comme si l’on arrondissait à l’euro. Les GPU vont alors bien plus vite, mais des questions apparaissent : le résultat est-il assez précis ? Peut-on refaire exactement le même calcul deux fois ?
La deuxième tient à l’échelle des données. Les jeux d’entraînement atteignent des centaines de téraoctets. Alimenter des milliers de GPU sans jamais les laisser attendre devient un défi de stockage et de réseau à part entière.
La troisième tient à ce qu’on observe. Un entraînement d’IA fonctionne par pas : à chaque pas, le modèle lit un lot d’exemples, mesure son erreur et se corrige un peu. L’IA ajoute donc ses propres indicateurs. La courbe de perte montre cette erreur, qui doit baisser au fil des pas. Les normes de gradient disent l’ampleur des corrections appliquées. La durée des pas révèle les ralentissements. L’utilisation GPU par rang repère la machine qui traîne : le rang est le numéro donné à chaque processus qui participe au calcul. L’énergie par jeton traité, enfin, rapporte la consommation à la quantité de texte digérée (un jeton est un morceau de mot). Observer un entraînement devient une spécialité.
Ce que cela change pour l’exploitation
Section intitulée « Ce que cela change pour l’exploitation »Revenons à la demande de l’équipe d’IA. À titre illustratif, un entraînement de 7 jours sur 64 GPU consomme 64 x 7 x 24 = 10 752 heures-GPU. Ce volume est à multiplier par le prix horaire de votre fournisseur ou par votre coût interne. Le même calcul appliqué aux plus grands entraînements, sur des milliers de GPU pendant des semaines, donne des centaines de milliers, voire des millions d’heures-GPU.
Un entraînement aussi long enregistre régulièrement des points de reprise : des sauvegardes complètes de son état, comme la sauvegarde d’une partie dans un jeu vidéo. Si un GPU se dégrade sans que personne ne le voie et fait perdre un point de reprise, il faut repartir de la sauvegarde précédente. Selon la fréquence de ces sauvegardes, cela peut coûter des heures, voire des jours de calcul. À ce niveau de consommation, à mon avis, l’observabilité devient une question économique autant que technique.
Les prix changent vite et varient selon les contrats : ce guide n’en donne pas. Utilisez la grille datée de votre fournisseur.
Ce que vous savez maintenant
Section intitulée « Ce que vous savez maintenant »Vous connaissez les cinq composants d’un cluster : nœud de connexion, ordonnanceur, nœuds de calcul, interconnect et stockage parallèle. Vous savez distinguer les trois schémas de parallélisme (trivial, couplage serré, parallélisme de données) et pourquoi doubler les machines ne divise pas le temps par deux. Vous savez enfin pourquoi l’IA à grande échelle repose sur la même fondation que le HPC classique et pourquoi une panne y coûte si cher.
Pour aller plus loin
Section intitulée « Pour aller plus loin »Si vous voulez rendre ces notions concrètes, je recommande de lire les premières pages de la documentation de la commande sbatch de Slurm : vous y verrez à quoi ressemble vraiment une demande de ressources. Le classement Top500 des supercalculateurs donne une idée de la taille des plus grandes installations. Si vous programmez un peu, essayez un petit programme MPI ou OpenMP sur votre poste : vous ne battrez pas de record, mais vous sentirez le parallélisme.
La suite logique est la formation Observabilité HPC : les fondamentaux.
Révisé le 2 octobre 2026 : coût d’un entraînement recalculé de façon explicite et présenté comme illustratif (64 GPU pendant 7 jours, soit 10 752 heures-GPU). Ce calcul remplace la mention « centaines de milliers d’euros » ; prix retirés.