Nvidia prévoit déjà les premiers racks de serveurs avec une demande de puissance de 1 MW. Les refroidir et les alimenter sera un véritable défi. Schneider Electric se frotte les mains et se met en avant lors du Innovation Summit à Copenhague en tant que spécialiste de service.
Schneider Electric se montre à nouveau le plus grand supporter de Nvidia, bien qu’il devienne de plus en plus clair que l’amour est réciproque. Sur la scène de l’Innovation Summit à Copenhague, Pankaj Sharma, EVP Secure Power chez Schneider Electric, et Steve Carlini, Chief Advocate AI and Data Center, louent le rythme d’innovation impressionnant imposé par l’entreprise de Jensen Huang. Cependant, ce rythme semble de moins en moins tenable sans l’encadrement approprié.
De paisible à accéléré
« Le secteur des centres de données a travaillé pendant des décennies exclusivement avec des CPU x86 et l’innovation était en réalité très paisible », explique Carlini. « Avec l’informatique accélérée, tout s’est accéléré. 70 % des nouveaux centres de données sont construits en vue de l’IA. La demande pour l’IA augmente plus vite que la capacité ne peut être construite. »
Avec cette demande augmente aussi la densité des systèmes qui supportent les charges de travail IA. Ces serveurs sont construits par Nvidia, autour des GPU Hopper, Blackwell et bientôt Rubin. « Nvidia est là où tout est créé », déclare un Sharma élogieux.
576 GPU sous un même toit
L’augmentation de la densité n’est pas une blague. « En 2022, les premiers modèles GPT étaient encore entraînés sur des racks remplis de puces Nvidia A100, représentant environ 25 kW par rack », explique Vladimir Prodanovic. Il peut le savoir, car en tant que Principal Program Manager pour Nvidia, il a participé à la construction des différents clusters sur lesquels les versions successives de ChatGPT ont été entraînées.
« C’est faisable avec le refroidissement par air », poursuit-il. Les racks avec des puces Hopper H100 demandaient déjà une puissance de 40 kW et ont suscité l’intérêt pour le refroidissement liquide. « Un rack NVL72 contenant 72 GPU Blackwell Ultra nécessitera une puissance d’environ 145 kW. »
Un rack NVL72 contenant 72 GPU Blackwell Ultra nécessitera une puissance d’environ 145 kW.
Vladimir Prodanovic, Principal Program Manager Nvidia
Et ce n’est pas fini. D’ici 2026, Nvidia veut lancer ses puces Rubin et les combiner dans un rack de 200 kW. Prodanovic : “Des racks de 385 kW sont prévus et d’ici 2028, un rack NVL 576 avec 576 accélérateurs Feynman empilés devrait dépasser le cap de 1 MW”.
Architecture de support
Pour supporter un tel matériel, une architecture différente est nécessaire. « Jensen Huang est très doué pour réaliser ses feuilles de route », sourit Carlini, « mais les effets sur l’alimentation électrique et le refroidissement sont moins évidents. Pour cela, le secteur se tourne vers nous. »
Schneider Electric collabore très étroitement avec Nvidia pour la construction de systèmes et de plans qui peuvent fournir suffisamment d’énergie et évacuer suffisamment de chaleur. « Il s’agit vraiment de co-conception », précise Carlini. « Schneider et Nvidia apprennent beaucoup dans cette phase. »
Le résultat de cette collaboration est une architecture où la composante IT du centre de données n’est en fait plus si (physiquement) grande. La grande salle de serveurs d’antan disparaît et est remplacée par un site complexe où la salle des serveurs est entourée de pompes, de systèmes électriques comme les unités de distribution d’énergie, de batteries, de générateurs et d’installations de refroidissement.
Marge d’erreur minime
« Plus la densité et la capacité sont élevées, plus la marge d’erreur dans les conceptions est petite », explique Kevin Brown de Schneider Electric pendant qu’il nous guide à travers différentes installations de démonstration sur le salon du Summit. « Tout doit être coordonné, depuis l’arrivée du courant, en passant par les systèmes UPS jusqu’à l’alimentation des racks. »
Cette alimentation électrique n’est pas évidente. Pour les racks à haute densité, Schneider Electric a développé un ‘sidecar’ : un rack d’alimentation à placer à côté d’un rack de calcul qui fournit 800 volts en courant continu aux systèmes Nvidia gourmands. « Nous visons plus, 1 500 volts sont en ligne de mire », précise Carlini.
Cela s’accompagne de défis. Plus les voltages sont élevés, moins les centres de données sont adaptés à la circulation des personnes. Prodanovic : « Pour remplacer une lame dans un centre de données avec des serveurs qui reçoivent 1 500 volts des PDU, il faut du personnel qualifié. »
Encore récent
L’innovation dans ce domaine est encore en plein développement. « Nous construisons des centres de données cloud depuis 25 ans », dit John Wernvik, CMO d’EcoDataCenter en Suède, où le spécialiste de la traduction DeepL héberge ses clusters Nvidia GB200. « Avec l’IA, nous n’en sommes qu’à 2,5 ans. Nous sommes au début et devons découvrir ensemble quels seront les standards. »
Le concept du sidecar n’est en tout cas pas un point final pour Schneider, car il prend trop de place dans la salle IT. « L’alimentation et le refroidissement se déplacent autant que possible vers l’extérieur », prédit Carlini.
Pas simplement de la plomberie
Pour le refroidissement, les marges ne sont pas plus grandes. Brown pointe vers une unité de distribution de refroidissement dans un rack de démonstration. « Le liquide de refroidissement doit être compatible avec les spécifications du fabricant de serveurs, avec le débit approprié et les bonnes connexions. Tout doit être correct. De plus, même avec le refroidissement liquide, il y a une composante refroidie par air. »
Lors du refroidissement d’un rack de 135 kW par liquide, il faut encore évacuer environ 15 kW de chaleur résiduelle par l’air. Si le flux d’air entre les serveurs ne change ne serait-ce qu’un peu, le serveur peut déjà commencer à throttler et vous n’obtiendrez plus les performances espérées.
La tolérance aux erreurs dans la conception d’un centre de données pour des racks IA denses et performants est donc très faible. Ceux qui doivent développer cela eux-mêmes ont besoin de beaucoup de temps et d’expertise qui n’est pas omniprésente. Schneider Electric se sent appelé à offrir la solution.
lire aussi
Schneider Electric et Motivair dévoilent un portefeuille complet de solutions de refroidissement pour les centres de données IA
Avec l’acquisition de Motivair, l’entreprise dispose d’une solution de bout en bout pour fournir l’encadrement complet de l’alimentation et du refroidissement pour les serveurs. C’est pourquoi Schneider a élaboré des designs de référence.
Plans détaillés
« Ce sont de véritables conceptions, pas simplement des assemblages de produits », dit Brown, en feuilletant fièrement quelques pages. Nous voyons des dessins techniques qui entrent dans les moindres détails concernant le placement des machines, mais aussi le raccordement électrique et la plomberie pour le refroidissement liquide.
Schneider Electric essaie de garder au moins une génération d’avance sur ce que Nvidia construit. Nvidia de son côté peut être content du travail que Schneider accomplit, car les racks de plus en plus denses ne sont rien de plus que des boîtes lourdes sans l’électricité et le refroidissement appropriés. Lors de l’Innovation Summit, Schneider Electric s’affirme donc de plus en plus comme le sous-traitant privilégié pour l’infrastructure physique dont un centre de données IA basé sur Nvidia a besoin.
Une Ferrari moins performante
Cela ne signifie pas que Schneider peut mettre ses solutions classiques à la retraite, ou que les centres de données cloud ordinaires peuvent soudainement fermer leurs livres. « Les centres de données classiques non-IA continuent de croître régulièrement de vingt à vingt-cinq pour cent par an », note Wernvik.
De plus, tout le monde n’a pas besoin d’un centre de données avec une densité extrême, estime aussi Prodanovic. « Tout le monde rêve de conduire une Ferrari F40, mais il y a aussi d’autres Ferrari », affirme-t-il, faisant comprendre habilement que chaque serveur Nvidia équivaut au moins à un modèle Ferrari.
En pratique, une densité extrême avec des serveurs de 400 kW ou à terme 1 MW est intéressante dans certains scénarios. Dans les endroits où des gigawatts d’électricité sont disponibles, il est logique d’en maximiser l’utilisation. Plus de GPU sur une surface plus petite valent la peine dans ce cas.
Quand les mégawatts sont rares
« Chez nous, cela ne va pas arriver tout de suite », pense Martijn Aerts, Vice-président pour Secure Power en Belgique et aux Pays-Bas. Les Pays-Bas sont confrontés à des limitations dans la disponibilité de l’électricité, entraînant des listes d’attente. « Les Pays-Bas doivent utiliser intelligemment chaque mégawatt trouvé, même s’il y a encore de quoi distribuer. En Belgique, plus est possible actuellement, mais nous devons aussi réfléchir. »
lire aussi
Quand l’IA devient la solution pour l’IA : optimisation, efficacité et durabilité dans les centres de données
« Si quelqu’un veut installer une telle méga-usine d’IA en Belgique, cela pourrait susciter beaucoup de perceptions négatives », pense-t-il. « La vision avec de grands centres de données IA et une haute densité est une histoire globale sur l’avenir que Schneider Electric voit, mais une traduction est nécessaire pour notre région. »
Déploiement Edge
Aerts suit Prodanovic : un grand centre de données rempli des racks les plus modernes n’est pas à l’ordre du jour ici. « Nous avons aujourd’hui beaucoup d’acteurs innovants dans les centres de données. Ce que nous pouvons faire, c’est placer un rack ici et là. Pour cela, nous n’avons pas besoin de construire de nouveaux centres de données ou de moderniser des sites complets. Un rack offre cependant déjà beaucoup de puissance de calcul IA. »
Lorsque cette inférence locale démarrera et que les possibilités deviendront claires, la demande pour des implémentations plus importantes pourra croître.
Martijn Aerts, Vice President Secure Power België & Nederland , Schneider Electric
Aerts pense qu’un tel type de déploiement Edge de racks IA performants est la clé. « Nous pouvons alors faire tourner des applications localement, par exemple en médecine. Lorsque cette inférence locale démarrera et que les possibilités deviendront claires, la demande pour des implémentations plus importantes pourra croître. »
Commencer petit, c’est aussi commencer
Pour le moment, Aerts considère qu’il est surtout important de déployer de manière distribuée un peu de capacité IA et de commencer avec cela. Une usine d’IA avec quatre gigawatts de racks de 1 MW n’apparaîtra pas immédiatement dans la périphérie de Bruxelles, mais il y a de la place pour des initiatives plus petites. Le centre de données Penta Infra qui hébergera le supercalculateur Tier-1 refroidi par eau et accéléré de la VUB en témoigne.
À l’échelle mondiale, Schneider Electric dit surtout au monde à Copenhague qu’il est prêt à supporter ce qu’il y a de plus récent. Si quelqu’un veut déployer bientôt un cluster IA rempli de puces Nvidia Vera Rubin, alors Schneider Electric a les plans prêts pour supporter cela dans les moindres détails.
Schneider Electric ne craint-il donc pas une bulle IA ? Après tout, sa vision de l’avenir repose fortement sur des investissements continus dans des centres de données IA puissants et coûteux par de grandes entreprises dont la valeur boursière a considérablement augmenté à court terme. « Il y aura effectivement des gagnants et des perdants », admet M. Carlini, mais il ne voit pas de bulle. « Nous travaillons en étroite collaboration avec tous les grands acteurs. Ceux-ci passent leurs commandes environ trois ans à l’avance et en paient déjà une partie. Du moins pour les trois prochaines années, la situation nous semble très solide. »