Les centres nationaux de calcul intensif des États-Unis, d'Europe et de Chine sont non seulement assez riches pour construire des machines extrêmement puissantes, mais suffisamment riches, grâce à leurs gouvernements nationaux, pour garantir et prendre en charge des architectures multiples, quelque peu incompatibles, afin de couvrir leurs paris et d'atténuer leurs risques. des risques.

Aux États-Unis, la National Science Foundation, qui travaille en collaboration avec le ministère de l'Énergie, aime garder ses options ouvertes, comme on l'a vu dans les pages de… Plateforme suivante Au cours de la dernière décennie, grâce au Texas Center for Advanced Computing de l'Université du Texas, l'installation phare de la NSF, il y a eu suffisamment d'intérêt et de financement pour fournir plusieurs architectures chez différents fournisseurs au sein du TACC.

Mais finalement, un moteur de calcul unique a été choisi pour la plate-forme au TACC, et avec le lancement récent du cluster hybride CPU-GPU « Vista » dans l'établissement, le décor est désormais planté pour une course à trois entre Intel, AMD et Nvidia sera le fournisseur du moteur de calcul du futur supercalculateur « Horizon », dont la mission est d'être 10 fois plus rapide que l'actuel supercalculateur Frontera, entièrement CPU, dont la construction a coûté 60 millions de dollars et a été installé en 2019.

Avant les problèmes liés aux lignes de production d'Intel et la pandémie de coronavirus, TACC s'attendait à ce que la deuxième phase du suivi de Frontera, peut-être avec une sorte d'accélérateur fournissant une grande partie ou la plupart de ses capacités de calcul, soit livrée en 2021, mais TACC a plutôt mis à niveau son « Lonestar ».  » systèmes. Le Stampede qui l'accompagnait fonctionnait sur 8 008 nœuds Xeon SP « Cascade Lake » à double socket, qui avaient 448 448 cœurs et 38,7 pétaflops de performances.

Le Lonestar 6, qui sera installé en 2021, est basé sur des processeurs AMD « Milan » Epyc 7763 et possède 71 680 cœurs qui fournissent 3 pétaflops de gravité maximale F64 pour 8,4 millions de dollars.

Stampede 3 a été installé l'année dernière et sera bientôt mis en production. Stampede 3 a conservé les 1 064 nœuds Intel « Skylake » Xeon SP et 224 nœuds Xeon SP « Ice Lake » utilisés dans le système Stampede 2 précédent et a ajouté 560 nœuds basés sur les processeurs Intel Max Series « Sapphire Rapids », qui ont de la mémoire HBM2e, collecte un un total de 137 952 cœurs (y compris certains nœuds de test utilisant les accélérateurs de la série GPU Max « Ponte Vecchio » d'Intel) et un peu moins de 10 pétaflops au maximum à la résolution FP64.

Avec Vista, Nvidia s'est mis au travail. Le Vista dispose d'un chipset 600 Ultra, qui combine un processeur de serveur Arm « Grace » CG100 à 72 cœurs avec un accélérateur GPU GH100 « Hopper » dans un espace mémoire cohérent. Les moteurs vectoriels des GPU H100 fournissent à eux seuls 20,4 pétaflops de performances maximales en FP64, et vous pouvez doubler cela jusqu'à 40,2 téraflops en FP64 sur les modules mathématiques matriciels intégrés du H100. Fondamentalement, Vista a autant de punch que Frontera – à condition que vous puissiez bien sûr porter le code des processeurs vers les GPU. Donc, en théorie, il ne faudrait que dix Vistas regroupés pour obtenir des performances brutes équivalentes à 10 fois celles de Frontera – l'objectif d'un futur supercalculateur Horizon qui devrait être hébergé dans une nouvelle installation informatique de pointe que TACC est en train de construire en périphérie. d'Austin en collaboration avec Changer d'opérateur de centre de données partagé.

L'installation, connue sous le nom de The Rock, est le cinquième centre de données majeur exploité par Switch, après les centres de données qu'elle exploite à Reno, Las Vegas, Atlanta et Grand Rapids. Voici à quoi ressemblera la partie du site d'Austin où sera implanté le supercalculateur Horizon :

Et voici à quoi ressemblera le complexe de centres de données de The Rock construit par Switch :

TACC a adopté une vision à très long terme dans la conception du futur supercalculateur Horizon et de l'installation LCCF qui l'hébergera ainsi que d'autres supercalculateurs du futur. NFS Il a financé les travaux de conception initiaux avec 3,5 millions de dollars en septembre 2020.Et maintenant La NSF recherche entre 520 et 620 millions de dollars pour financer entièrement le LCCF entre 2024 et 2027. (Il s’agit des exercices fiscaux du gouvernement américain se terminant le 31 juillet de la même année.) Mais dans le même document, il y a un tableau montrant le total de 656 millions de dollars dépensés jusqu’en F2029. De ce montant, 40 millions de dollars sont alloués annuellement au fonctionnement du fonds.

Horizon représente une grande partie de ce budget, mais pas autant qu’on pourrait le penser. Dan Stanzione, vice-président associé pour la recherche à l'Université du Texas et directeur exécutif de TACC, nous a donné un aperçu de la réflexion sur TACC lorsque nous avons parlé de Stampede 3 et du futur périphérique Vista avant son annonce lors de la conférence sur les supercalculateurs SC23 à Denver l'année dernière. . À l'époque, nous avions dit que si nous étions Stanzione, nous achèterions des machines Grace-Grace et des machines Grace-Hopper et entraînerions les trois fournisseurs de moteurs de calcul dans une guerre d'enchères, et tout ce qu'il a fait, c'est rire.

Peut-être parce que c'est exactement le plan.

Mais en réalité, concevoir le système Horizon qui sera la première machine du LCCF n’est pas anodin compte tenu de la diversité des charges de travail de NSF.

« Nous savons que pour les applications que nous profilons pour Horizon, 40 % d'entre elles sont actuellement en bon état pour les GPU », explique Stanzione. Plateforme suivante. « Mais cela signifie que 60 % de nos grandes applications scientifiques ne le sont pas. J'ai donc promis que nous aurons un composant CPU important pour Horizon, même si j'investirai des dollars sur à peu près la même partition que les applications. Donc 40 pour cent des dollars GPU, ce qui signifie qu'environ 80 pour cent des GPU échouent parce qu'ils sont quatre ou cinq fois moins chers en termes de permutation de pointe.

Notre meilleure hypothèse était que l’Horizon coûterait à peu près le même prix que la machine « Blue Waters ». Cray a été construit pour le National Center for Supercomputing Applications de l'Université de l'Illinois en 2011., qui a coûté 188 millions de dollars, ce qui représente le record des dépenses consacrées à un seul système par la NSF. Stanzione a souligné que le coût du système Horizon, que nous construirons en 2025 et exploiterons en 2026, ne sera pas à ce niveau et « il n'y a pas de quoi éternuer », même comparé aux 500 millions de dollars que le système Frontier à Oak Ridge a coûté au projet. Son installation il y a deux ans, soit 400 millions de dollars, représente le coût du système imminent « El Capitan » actuellement déployé au Laboratoire national Lawrence Livermore. (Il s’agit des coûts du système moins les coûts d’ingénierie non récurrents, ou NRE.)

Reste la question d'une augmentation des performances 10 fois supérieure à Frontera pour les applications qui y sont actuellement exécutées.

Lars Kostrky, l'un des 190 chercheurs du TACC, a fait une présentation sur Frontera et Horizon en mars 2023. Ce que nous avons trouvé aujourd'hui en recherchant cette histoire. Cela montre à quel point le TACC est devenu un élément central du HPC aux États-Unis :

À propos, le LCCF est évalué à 15 mégawatts, contre 12 mégawatts pour l’installation actuelle sur le campus de l’Université du Texas. Mais il y a beaucoup de place pour la croissance dans ce centre de données de commutation en dehors d'Austin, et il n'y a aucun problème à essayer d'apporter plus de puissance au site TACC existant.

Veuillez également aborder ce problème : 7 milliards d'heures de calcul par an et 5 milliards de fichiers. C'est son propre type d'hyperscaler. Avoir des dizaines de milliers d’utilisateurs et des milliers de projets à gérer n’est pas une mince affaire. Nous l'avons déjà dit et nous le répétons : à certains égards, c'est facile à grande échelle. Ils gèrent quelques charges de travail à grande échelle. Mais gérer des charges de travail de plusieurs ordres de grandeur est un type particulier de cauchemar lorsque vous essayez de pousser les performances à leurs limites absolues. Le TACC est probablement le meilleur centre HPC au monde pour ce faire, avec un temps de disponibilité de 99,2 % et un taux d'utilisation de 95,4 % sur 1,13 million de tâches réalisées au cours des 12 mois précédant la présentation de Koesterke.

C’est le cauchemar que l’équipe Stanzione doit gérer chez TACC sur sa machine principale :

C'est le jeu de Tetris le plus fou au monde, et la charge de travail de mes managers pour y arriver est un témoignage du génie humain.

Voici comment TACC réfléchit aux coûts en élaborant l'architecture du futur système d'Horizon :

Il y a du monde réel et de l'eau froide sur le visage à laquelle la foule du HPC peut réfléchir.

Tout cela alimentera la conception d'Horizon, qui, selon nous, contiendra un mélange de nœuds CPU-CPU et de nœuds CPU-GPU, explicitement conçus pour augmenter les performances des applications en atteignant l'objectif de 10X par rapport à Frontera. Koesterke indique que le TACC prend en compte quatre facteurs en matière de performances des applications, que nous citons :

• La durée de course a-t-elle changé ? (Un analogue d'une mise à l'échelle robuste : exécutez le même problème en moins de temps).
• L’ampleur du problème a-t-elle changé ? (Analogique à Weak Scaling – exécution de problèmes plus importants dans un temps précis)
• Avons-nous utilisé plus ou moins que les ressources totales ? (analogue de productivité).
• La physique a-t-elle changé ? (Il n'y a pas de bon analogique).

Cela nous amène aux zones delta réelles que TACC utilisera pour piloter la conception d'Horizon :

Leur moyenne sera calculée comme une multiplication de ces quatre facteurs mentionnés ci-dessus, et toutes les applications ne se multiplieront pas au même rythme sur ces quatre facteurs, même sur le même CPU et GPU. L'objectif, dans ce que nous supposons être les 20 « applications scientifiques distinctives » ou CSA couvertes par Kostarki, qui comprennent l'astronomie et l'astrophysique, la biophysique et la biologie, la dynamique des fluides computationnelle, la géodynamique et les systèmes terrestres, ainsi que l'ingénierie des matériaux, est d'obtenir 10X en de quelque manière que ce soit Cela a du sens pour chaque application individuelle, compte tenu de la nature du code et de son mappage au matériel.

Le fait est que ce n'est pas nécessairement aussi simple que de construire une machine CPU-GPU de 400 pétaflops, ou un mélange de nœuds CPU uniquement et de nœuds GPU qui totalisent 400 pétaflops, et de l'appeler par jour. TACC a de nombreux codes différents et de nombreux clients différents, contrairement aux autres laboratoires nationaux américains, qui ne disposent souvent que de quelques codes maîtres et de beaucoup d'argent pour déplacer le code d'une étape architecturale à l'autre. Même si Frontera dispose d’un certain nombre de charges de travail performantes, celles-ci ne dominent pas.

Nous sommes impatients de voir comment NSF et TACC attribuent les appareils aux tâches. Nous pouvons tous apprendre beaucoup de la façon dont Horizon est construit.