NVIDIA verschuift de race in kunstmatige intelligentie weg van het aantal geïnstalleerde GPU’s naar een steeds belangrijkere maatstaf: hoeveel AI-workload een datacenter kan uitvoeren per beschikbare megawatt. Hun antwoord is DSX MaxLPS, een verzameling technologieën voor elektriciteitsbeheer, software, vloeistofkoeling en installatieontwerp, waarmee het bedrijf verwacht dat toekomstige centra gebaseerd op Vera Rubin NVL72 tot wel 40 % meer GPU’s kunnen huisvesten binnen hetzelfde energiebudget.
De kernpunten van NVIDIA DSX MaxLPS in 30 seconden
- MaxLPS streeft ernaar om optimaal gebruik te maken van elektrische energie, die in veel datacenters al de beperkende factor is voor het toevoegen van nieuwe GPU’s.
- NVIDIA stelt voor om dynamisch de elektrische capaciteit toe te wijzen die momenteel onbenut blijft door racks.
- In representatieve tests behaalt het systeem dezelfde prestaties met minder vermogen per rack.
- Vera Rubin NVL72 is ontworpen voor vloeistofkoeling met inkomend water op 45 °C.
- NVIDIA voorziet dat binnen hetzelfde energiebudget tot 40 % meer Rubin GPU’s kunnen worden geïnstalleerd.
Deze aanpak is relevant omdat het geen belofte inhoudt om dat 40 % te behalen door simpelweg meer capaciteit af te spreken bij het energiebedrijf. Het voorstel is juist om binnen een vast limiet te werken en capaciteit terug te winnen die nu verloren gaat door koeling, elektrische distributie, operationele reserves en het verschil tussen het maximale voorziene verbruik en het werkelijke rack-verbruik.
NVIDIA noemt MaxLPS Maximum Land Power Shell: een manier om drie fysieke limieten van een installatie in samenhang te bekijken: beschikbare grond, elektrische capaciteit en het gebouw met zijn energiesystemen, koeling, communicatie en computationele infrastructuur. Volgens het bedrijf moeten deze middelen als een compleet systeem worden beheerd, in plaats van ieder rack als een geïsoleerde eenheid te dimensioneren.
Het probleem van het reserveren van elektriciteit die later niet wordt gebruikt
Een datacenter kan niet aannemen dat servers altijd hun gemiddelde vermogen zullen gebruiken.
De elektrische infrastructuur moet piekverbruiken aankunnen. Als een rack onder bepaalde belasting 120 kW kan halen, maar slechts 90 kW reserveert omdat dat het gebruik is dat gewoonlijk wordt verwacht, kan dat leiden tot problemen wanneer het systeem de maximale belasting bereikt.
Traditioneel wordt daarom voldoende vermogen toegewezen aan elk rack om dergelijke scenario’s te dekken.
Maar AI-belastingen verbruiken niet constant.
Training, inferentie, synchronisatie, geheugenaccess, communicatie, checkpointing, pre-fill en decode veroorzaken verschillende elektrische profielen. Sommige momenten werken GPU’s intensief, andere wachten op data of communicatie.
Een rack kan vermogen reserveren dat tijdelijk niet wordt gebruikt, terwijl een ander dat mogelijk efficiënter kan benutten.
NVIDIA wil deze marge omzetten in gedeelde capaciteit.
Stel dat we uitgaan van een hypothetische installatie van 100 MW. Volgens het bedrijfsmodel wordt 20 MW gebruikt voor de werking van het datacenter zelf, 10 MW gaan verloren in de rack-infrastructuur en nog eens 10 MW worden niet benut door operationele inefficiënties zoals fouten, herstarts en checkpoints.
Dan blijven er ongeveer 60 MW direct bestemd voor AI-belasting.
Dit moet niet worden opgevat als een universele regel voor alle datacenters. NVIDIA presenteert dit als een illustratief scenario om aan te tonen hoeveel de elektrische input kan verschillen van de daadwerkelijke computationele output.
Daar komt een belangrijke overweging: het aanschaffen van efficiëntere GPU’s helpt, maar het kan ook door de proportie van de gemeten megawatt-vermogen dat daadwerkelijk gebruikt wordt door de GPU’s te verhogen.
Van een vast vermogen per rack naar dynamische verdeling
Een kerncomponent van MaxLPS is Dynamic Power Software (DPS), dat NVIDIA momenteel presenteert als Developer Preview.
Het systeem monitort het verbruik op verschillende schaalniveaus: van installatieultra tot groepsresources, racks, nodes en GPU’s. Operators kunnen limieten en beleidsregels instellen, terwijl de software voortdurend vergelijkt wat toegewezen is met wat daadwerkelijk wordt verbruikt.
Wanneer er beschikbare capaciteit wordt gevonden, kan deze worden herverdeeld binnen de beheerde groep.
Dit lijkt op andere dynamische resourceallocatiemethoden die in de IT-wereld al jaren worden toegepast: reservaties garanderen operationele werking, maar maken gebruik van de statistische realiteit dat niet alle componenten gelijktijdig hun maximum bereiken.
Het verschil hier is dat het gedeelde resource kilowatt is.
NVIDIA toont een scenario waarin het vaste provisioning 170 kW ongebruikt laat binnen een totaalbudget van 540 kW. Door dynamisch toe te wijzen, kan dat marge worden benut en mogelijk een extra rack worden toegevoegd zonder de totale energiecapaciteit te verhogen.
Het algemene elektrische limiet van de installatie blijft hetzelfde.
Er wordt geen nieuwe elektriciteit gevraagd.
Het verschil zit hem in het efficiënter benutten van bestaande capaciteit.
Dit is van groot belang omdat fysieke limieten altijd aanwezig blijven. Als alle racks tegelijkertijd hun maximale vermogen nodig hebben, is er geen marge om te herverdelen. Het voordeel hangt dus af van het werkelijke gedrag van de belastingen en hoe goed hun pieken kunnen worden afgestemd.
GB200 en Vera Rubin tonen hoeveel de dichtheid kan veranderen
NVIDIA levert resultaatsverduidelijkingen met representatieve inferentie-workloads om het effect te illustreren.
Met GB200 NVL72 en Kimi-K2.5 vermindert MaxLPS in de tests de benodigde power per rack van 125 naar 90 kW, terwijl de throughput behouden blijft. Hierdoor kan een installatie tot 39 % meer racks herbergen binnen hetzelfde energie-limiet.
Voor Vera Rubin NVL72 met DeepSeek-R1 daalt het benodigde vermogen van 136 naar 101 kW, wat een toename van ongeveer 35 % in rack-capaciteit betekent.
De fabrikant schat dat de energie-efficiëntie met ongeveer 1,5 keer kan verbeteren bij GB200 NVL72 en tussen 1,3 en 1,4 keer bij Vera Rubin NVL72 voor de getest scenario’s. Dit zijn NVIDIA’s voorspellingen voor specifieke workloads en zijn geen automatische verbetering voor elk datacenter of elke toepassing.
De onderneming breidt de berekeningen uit door MaxLPS te combineren met volledige elektrische en thermische planning voor een toekomstige Vera Rubin-setup.
Volgens schattingen zou een 100 MW datacenter kunnen huisvesten tot 40.000 Rubin GPU’s en de volgende capaciteiten bereiken:
| Door NVIDIA geschatte capaciteit | 100 MW AI-centrum |
|---|---|
| Inferentie NVFP4 | 2 zettaFLOPS |
| Training NVFP4 | 1,4 zettaFLOPS |
| HBM4-geheugen | 11 PB |
| HBL4-breedtebandbreedte | 800 PB/s |
| Potentieel toename GPU’s | Tot 40 % |
Die 40 % wordt geïnterpreteerd als het maximale doel dat NVIDIA projecteert door verschillende maatregelen te combineren. Het is geen intrinsieke eigenschap van elke Rubin-GPU.
Koelen met vloeistof bij 45 °C kan energie besparen
Het tweede onderdeel van de aanpak lijkt aanvankelijk tegenstrijdig: vloeistof koelen met hogere temperaturen.
Vera Rubin NVL72 is ontworpen voor vloeistofkoeling met inkomend water op 45 °C.
Het doel is niet om de chip extra af te koelen, maar om de hoeveelheid energie die nodig is om de warmte uit het systeem te verdrijven te verminderen.
Bij hogere temperaturen stroomt er minder koeling door het systeem en kunnen installaties meer gebruik maken van buitenlucht of free cooling zonder dat er voortdurend compressoren en koelers nodig zijn.
De concrete voordelen hangen af van het klimaat en het ontwerp van de installatie.
Een datacenter in een koelere regio heeft andere kansen dan een die in een warmer klimaat is gelegen.
Verder verandert het gebruik van water. NVIDIA beweert dat een geschikt ontwerp de afhankelijkheid van intensieve watergekoelde systemen kan verminderen, hoewel het niet betekent dat elk Rubin-datacenter zonder koelsystemen kan.
De aanbeveling is om koelsystemen alleen in te zetten wanneer dat echt nodig is, waardoor de energie die anders voor koeling wordt gebruikt beschikbaar blijft voor de servers.
De software probeert ook meer tokens per watt te halen
MaxLPS stopt niet bij het elektriciteitsnetwerk.
NVIDIA introduceert profielen onder de naam Workload Profile Power Solutions (WPPS) om GPU’s af te stemmen op verschillende belastingstypes, zoals training, inferentie, geheugenintensieve taken of computationele zware workloads.
De Application Performance and Power Manager past de juiste configuraties toe, en NVIDIA Dynamo kan ingrijpen bij het beheer van gedistribueerde inferentietaken.
Het doel is om energiebesparingen op maat te realiseren op basis van werkbelasting, in plaats van één uniforme energie-instelling te gebruiken voor alle workloads.
Bij inferentie willen ze bijvoorbeeld meetresultaten tonen in tokens per seconde en per watt. Deze maatstaf koppelt direct het energieverbruik aan de prestatie, maar kan niet los worden gezien van latentie, kwaliteitsniveau en infrastructuurkosten.
Voor een AI-provider betekent het meer tokens produceren met hetzelfde watt-vermogen een grotere operationele capaciteit zonder extra elektriciteitsaansluiting.
En dat aspect wordt steeds crucialer.
Elektriciteit bepaalt echt de omvang van AI-clusters
In de beginjaren van generatieve AI lag de grootste beperking vooral in GPU-tekorten.
Het verkrijgen van versnellers was het grote probleem.
Nu verschuift de beperking ook naar elektrisch vermogen, netwerkkapaciteit, transformatoren, koeling, beschikbare ruimte en de tijd die nodig is om nieuwe installaties te bouwen.
Bedrijven kunnen het kapitaal hebben om meer GPU’s aan te schaffen, maar geen plek om deze aan te sluiten of voldoende stroomvoorziening om ze te laten draaien.
De strategie van NVIDIA probeert precies deze situatie te adresseren.
Als het jaren duurt om 100 MW erbij te krijgen, kan het verbeteren van de efficiëntie van de bestaande megawatt-capaciteit met 20 %, 30 % of 40 % een enorme economische waarde opleveren.
Ook verandert de manier waarop infrastructuur wordt gemeten.
Het aantal GPU’s is nog steeds belangrijk, maar twee datacenters met dezelfde capaciteit en hardware kunnen verschillende werkprestaties leveren afhankelijk van de energie-behoefte voor koeling, de reserved capaciteit of de energie-efficiëntie van hun configuratie.
Daarom gebruikt NVIDIA steeds vaker de term AI-fabriek: een datacenter als een industriële productie-installatie waar tokens en andere computationele resultaten de output zijn.
Een bedrijfsgerichte term, maar het schetst een duidelijke shift in de planning van deze installaties.
Ontwerpen voor de GPU’s van de toekomst
Een andere invloedsfactor van MaxLPS is de aanpak bij de bouw van nieuwe centra.
NVIDIA adviseert om vanaf het begin de elektrische benadering, koelsystemen, ruimte en communicatie in te richten op de maximale capaciteit die de installatie gedurende haar levensduur zou kunnen herbergen, ook al worden die racks nu niet allemaal direct geïnstalleerd.
De reden is de evolutie van workloads.
Een datacenter dat vooral bedoeld is voor training, kan beginnen met een hoger gemiddeld verbruik per rack. Als later de nadruk meer op inferentie komt en het gemiddelde verbruik afneemt, ontstaat er ruimte om meer hardware toe te voegen zonder de totale stroomcapaciteit te verhogen.
Om dat mogelijk te maken moeten fysiek voldoende rackplaatsen, elektrische distributie, koeling en netwerkcapaciteit aanwezig zijn.
Aanpassingen achteraf, na de bouw, kunnen veel complexer en kostbaarder zijn.
MaxLPS streeft er dus naar dat de energielimiet niet meer wordt beheerd per GPU of rack, maar integraal wordt meegenomen in de datacenterplanning.
Hoe het op grote schaal zal werken, moet nog worden bewezen.
Dynamic Power Software en DSX Exchange bevinden zich momenteel in Developer Preview; veel van de cijfers over Vera Rubin zijn NVIDIA-projecties voor toekomstige hardware en datacenters. Ze zijn niet te vergelijken met resultaten van operationele commerciële installaties.
Maar het fundamentele probleem is er wel: het gaat erom dat toekomstige AI-installaties niet alleen krachtige GPU’s hebben, maar ook voldoende elektriciteit en koeling om ze te laten werken.
De volgende fase van AI-infrastructuur ligt minder in de hoeveelheid GPU’s die je kunt kopen en meer in hoe veel tokens je kunt genereren per megawatt die in het datacenter aankomt.
Veelgestelde vragen
Wat is NVIDIA DSX MaxLPS?
DSX MaxLPS is een set NVIDIA-technologieën voor het gezamenlijk beheer van energie, GPU-configuratie, koeling en datacenterontwerp. Het doel is om binnen een vast energiebegrip meer AI-werk te produceren.
Kan MaxLPS 40 % meer GPU’s installeren zonder extra elektriciteit?
NVIDIA voorspelt tot 40 % meer Rubin-gebruik wanneer MaxLPS wordt gecombineerd met een goede planning van het datacenter. Dit is een maximale schatting van de fabrikant en hangt af van de belasting, de infrastructuur en het elektrische en thermische ontwerp.
Waarom gebruikt Vera Rubin vloeistofkoeling tot 45 °C?
Werken met vloeistof op hogere temperaturen kan het gebruik van buitenluchtkoeling vergemakkelijken en de afhankelijkheid van elektrische koelsystemen beperken. Het exacte energiebesparingspotentieel hangt af van klimaat en ontwerp.
Wat doet Dynamic Power Software?
Het is een NVIDIA-systeem dat het energieverbruik monitort en beschikbare capaciteit dynamisch kan herverdelen tussen groepen resources, racks, nodes en GPU’s op basis van vooraf ingestelde beleidsregels en limieten. Het bevindt zich momenteel in Developer Preview.
vía: developer.nvidia