NVIDIA heeft de eerste prestatierapporten aangemaakt voor Vera Rubin NVL72 op MLPerf Inference v6.1, met tot wel 3,7 keer hogere prestaties dan GB300 NVL72 in bepaalde tests. Het nieuwe platform toont ook een schaalbaarheidsefficiëntie van 99% bij het overschakelen van één naar vier racks GB300 NVL72, terwijl softwareoptimalisaties de prestaties tot 1,6 keer verhogen ten opzichte van de vorige generatie van de benchmark.
De kernpunten van NVIDIA Vera Rubin NVL72 in 30 seconden
- Vera Rubin NVL72 behaalt tot 3,7 keer de prestaties van GB300 NVL72 op Qwen3-VL.
- Bij DeepSeek-R1 wordt een voordeel tot 2,5 keer gerapporteerd, afhankelijk van de scenario’s.
- GB300 NVL72 bereikt een schaalbaarheidsefficiëntie van 99% met 288 GPU’s in vier racks.
- Softwareoptimalisaties resulteerden in tot wel 1,6 keer meer prestaties ten opzichte van MLPerf Inference v6.0.
- De resultaten van Vera Rubin bevinden zich nog in preview; de cijfers voor GPT-OSS-120B en DLRMv3 zijn nog niet geverifieerd.
De resultaten van MLPerf Inference v6.1 positioneren Vera Rubin NVL72 als NVIDIA’s nieuwe platform voor inferentietaken op rack-schaal. Vera Rubin’s eerste deelname aan deze benchmark gebruikt de modellen DeepSeek-R1 en Qwen3-VL, twee van de tests die in de nieuwste editie van de evaluatiecollectie zijn opgenomen. MLCommons publiceerde de resultaten op 16 september 2026 en meldt dat deze editie ook nieuwe tests bevat voor AI-gestuurde scenario’s en verhoogde recoverability.
De vergelijking gaat niet alleen over GPU-kracht. NVIDIA wijt een deel van de verbeteringen aan de combinatie van architectuur, interconnectie en inferentie-software. Bij Vera Rubin worden technieken gebruikt zoals disaggregated serving, die de prefill– en decode-fasen scheidt, naast parallelle experts voor modellen met mixture of experts-architectuur.
Vera Rubin bereikt tot 3,7 keer hogere prestaties op MLPerf
Bij tests met Qwen3-VL registreert Vera Rubin NVL72 tot 3,7 keer de prestaties van GB300 NVL72 in de offline, server en interactive-scenario’s. NVIDIA gebruikte vLLM samen met haar open source framework Dynamo voor inferentie tijdens deze tests.
Met DeepSeek-R1 ligt de gerapporteerde voorsprong tot 2,5 keer hoger dan GB300 NVL72. In dit geval maakte NVIDIA gebruik van TensorRT-LLM, haar bibliotheek voor geavanceerde optimalisatie van taalmodel-inferentie.
De specifieke cijfers variëren afhankelijk van het type workload. Volgens de door NVIDIA gepubliceerde resultaten toont Qwen3-VL een verbetering van 1,8 keer in het offline-scenario, 1,9 keer in server en 3,7 keer in interactive, terwijl DeepSeek-R1 respectievelijk 1,7 keer, 1,9 keer en 2,5 keer beter presteert.
De verschillen tussen scenario’s zijn belangrijk omdat het meten van alleen het maximale prestatieniveau van een infrastructuur niet altijd weerspiegelt hoe goed een systeem reageert op realistische verzoeken. Het offline-scenario meet de maximale totale doorvoer, terwijl de interactieve scenario’s restricties zoals latentie meespelen.
MLCommons definieert MLPerf Inference als een benchmark gericht op het meten van inferentieprestaties met reproduceerbare tests en een uniforme methodologie. Versie 6.1 bevat daarnaast nieuwe tests voor complexere workloads, inclusief AI-gestuurde inferentie.
De cijfers van Vera Rubin moeten wel worden genuanceerd omdat ze nog in voorvertoningsfase liggen. NVIDIA presenteerde deze als een eerste participatie van de platform in MLPerf Inference 6.1; ze mogen niet worden geïnterpreteerd als definitieve metingen voor alle configuraties.
GB300 bewijst dat het toevoegen van GPU’s bijna lineair kan schalen
Terwijl Vera Rubin de nieuwe generatie resultaten te zien geeft, gebruikt NVIDIA MLPerf Inference v6.1 ook om het gedrag van GB300 NVL72 te tonen bij toenemende rack-aantallen.
De DeepSeek-R1-test vergelijkt een rack met 72 GPU met een configuratie van vier racks met 288 GPU. Het resultaat behaald een schaalbaarheidsefficiëntie van 99% in het offline-scenario. De gepubliceerde tabel toont 679.740 prestatie-eenheden voor één rack en 2.705.130 voor vier racks.
In praktische termen betekent dit dat het vertienvoudigen van het aantal GPU’s (van 72 naar 288) de prestaties bijna verviervoudigt, omdat het aantal accelerators en de output daar bijna evenredig toenemen. De schaalbaarheidsefficiëntie geeft aan hoe effectief de extra resources worden benut.
Deze prestaties hangen af van meerdere factoren. De prestaties van een installatie met honderden GPU’s nemen niet automatisch toe door simpelweg meer GPU’s toe te voegen. Communicatie tussen GPU’s, het netwerk tussen racks, load balancing en software voor het beheer kunnen efficiency verliezen veroorzaken.
NVIDIA wijt een deel van deze resultaten aan het systeem NVL72 en de NVLink interconnectie. De zesde generatie NVLink en NVLink Switch bieden hoge-snelheidsverbindingen binnen een domein van 72 GPU’s, terwijl andere netwerktechnologieën zorgen voor de communicatie tussen systemen.
Software blijft de prestaties beïnvloeden, zelfs na hardware
Een andere belangrijke bevinding uit versie 6.1 is de impact van softwareoptimalisaties op de prestaties van GB300. NVIDIA meldt dat de prestaties van Qwen3-VL tot 1,6 keer hoger liggen dan bij de vorige MLPerf-competitie.
Deze verbeteringen komen door diverse softwarewijzigingen, zoals een lagere precisie voor de KV-cache, nieuwe fusies van kernels, verbeteringen in deze kernels en het gebruik van disaggregated serving met vLLM en NVIDIA Dynamo.
Dit laat zien dat de prestaties van AI-platforms niet alleen afhangen van hardware, maar ook sterk worden beïnvloed door de softwarestack. Eenzelfde GPU-generatie kan andere resultaten opleveren naarmate compilers, bibliotheken, kernels en load balancing systemen verbeteren.
NVIDIA deelt ook cijfers die nog niet officieel geverifieerd zijn door MLCommons. Zo worden 124.552 tokens per seconde gerapporteerd voor GPT-OSS-120B op B300 x8 in offline-scenario en 119.002 tokens/sec in server. Voor DLRMv3 op B200 x8 worden 16.796 en 15.800 queries per seconde genoemd.
Deze cijfers krijgen de aanduiding onverifieerde resultaten, omdat ze voortkomen uit optimalisaties die na de officiële deadline van MLPerf Inference v6.1 zijn doorgevoerd. Ze moeten dus niet worden beschouwd als definitieve of officieel gevalideerde gegevens.
De softwareverbeteringen kunnen ook de kosten-efficiëntie van inferentie beïnvloeden. Als een infrastructuur meer tokens produceert met hetzelfde hardwarepakket, kunnen bedrijven de kosten voor servers, netwerk en energie beter spreiden over meer werkvolume. Het uiteindelijke rendement hangt af van de aard van de workload, het gebruikte model en de servicenormen.
Van traditionele benchmarks naar AI-gestuurde scenario’s
NVIDIA onderzoekt ook de prestaties van Vera Rubin bij AI-gestuurde agenten. In voorlopige evaluaties met SemiAnalysis AgentX, aangehaald door het bedrijf, behaalde Vera Rubin NVL72 een prestatie van 30 keer hoger dan GB300 NVL72. Deze uitspraken komen uit een andere preview-test dan MLPerf en mogen niet worden verwisseld met de officiële benchmarkresultaten.
De shift komt doordat AI-agenten meerdere stappen achter elkaar kunnen uitvoeren om een taak te voltooien. Waar een traditionele toepassing meestal één respons van het model nodig heeft, kunnen agenten redeneren, tools raadplegen, informatie ophalen en meerdere keren het model inzetten.
MLCommons begint dit verschil ook te integreren in haar benchmarks. Inference v6.1 bevat een test genaamd Edge Agentic Inference, en bereidt MLPerf Endpoints voor om workloads te meten via API’s en scenario’s die meer aansluiten bij productie-omgevingen.
Voor NVIDIA is de bedoeling dat dezelfde infrastructuur flexibel kan worden ingezet voor verschillende modellen en workloads, zoals training, inferentie, aanbevelingssystemen, reasoning en videogeneratie. Zo wordt hardware niet beperkt tot een enkele toepassing, terwijl de eisen van de workloads veranderen.
Vera Rubin NVL72 combineert 72 GPU Rubin, 36 CPU Vera en NVIDIA-netwerk- en verwerkingscomponenten in een rack-architectuur. Het bedrijf positioneert deze als een platform voor grootschalige AI-infrastructuur en agent-gebaseerde systemen.
De resultaten van MLPerf Inference v6.1 bieden een eerste openbare referentie voor deze nieuwe generatie. De vergelijkingen met GB300 tonen belangrijke verbeteringen bij bepaalde workloads, terwijl de schaalbaarheidstests aantonen dat de vorige generatie hoge benutting kan behouden bij het uitbreiden van één naar vier racks.
Hoe deze resultaten zich zullen ontwikkelen zodra Vera Rubin uit de preview-fase komt en meer modellen en configuraties worden getest, blijft een open vraag.
Veelgestelde vragen
Hoeveel sneller is Vera Rubin NVL72 dan GB300 NVL72?
Volgens de door NVIDIA gepubliceerde resultaten van MLPerf Inference v6.1, haalt Vera Rubin NVL72 tot 3,7 keer de prestaties van GB300 NVL72 met Qwen3-VL, en tot 2,5 keer met DeepSeek-R1, afhankelijk van het scenario.
Wat betekent een schaalbaarheidsefficiëntie van 99%?
Dit houdt in dat bij het opschalen van één rack GB300 NVL72 met 72 GPU’s naar vier racks met 288 GPU’s, het prestatieniveau bijna evenredig toeneemt met de beschikbare resources binnen het offline-scenario.
Zijn de Vera Rubin-resultaten al definitief?
Nee. NVIDIA presenteerde de resultaten van Vera Rubin NVL72 als preview binnen MLPerf Inference v6.1. De cijfers voor GPT-OSS-120B en DLRMv3 die later werden getoond, zijn nog niet geverifieerd door MLCommons.
Welke rol speelt software in deze verbeteringen?
NVIDIA wijt de prestaties voor een groot deel aan softwareoptimalisaties, zoals aanpassingen in precisie, fusie van kernels, verbeteringen in de softwarestack en het gebruik van disaggregated serving met vLLM en NVIDIA Dynamo. Voor Qwen3-VL resulteerde dit in tot 1,6 keer meer prestaties ten opzichte van MLPerf v6.0.