De nieuwe editie van MLPerf Inference 6.1 schetst een complexer beeld van de race om AI-infrastructuur. AMD heeft zijn Instinct MI355X uitgerust in een configuratie met 512 GPU’s, waarmee een schaalrecord wordt gevestigd in de benchmark, terwijl NVIDIA nieuwe voorlopige resultaten presenteert van Vera Rubin en aanzienlijke verbeteringen toont met Blackwell. Intel breidt zijn aanwezigheid uit met Xeon en Arc Pro B70, grotendeels dankzij softwareverbeteringen.
De kernpunten van MLPerf 6.1 in 30 seconden
- AMD behaalt 5,75 miljoen tokens/sec met 512 MI355X in GPT-OSS-120B en 2,90 miljoen in DeepSeek-R1.
- NVIDIA introduceert Vera Rubin NVL72 met tot 3,7 keer meer prestaties dan GB300 NVL72 in Qwen3-VL.
- Een GB300-systeem met 288 GPU’s bereikt 99% schaal-efficiëntie in DeepSeek-R1.
- In configuraties met 8 GPU’s overtreft GB300 de MI355X in verschillende modellen, hoewel AMD in bepaalde lasten nog steeds vooraan staat.
- Intel verbetert de prestaties van Arc Pro B70 en Xeon 6 zonder hardwarewijzigingen in sommige vergelijkingen.
MLPerf Inference 6.1 introduceert daarnaast belangrijke wijzigingen in de tests die worden gebruikt om machines te meten. MLCommons heeft nieuwe scenario-gebonden tests toegevoegd die dichter aansluiten bij actuele AI-toepassingen, zoals End-to-End Retrieval-Augmented Generation (E2E-RAG) en Edge Agentic Inference. De eerste test beoordeelt een volledige keten inclusief embeddings, vectorzoektocht, reranking en genereren met een taalmodel. De tweede testcase probeert agent-gebaseerde loads met meerdere rondes te simuleren, waarbij elke query afhankelijk is van de context van de vorige.
Deze editie bracht 30 deelnemende organisaties samen, het hoogste aantal ooit geregistreerd door MLPerf Inference. Daarnaast worden nieuwe processors en accelerators ingezet, zoals AMD Ryzen AI Max+ 395, Instinct MI350P, Intel Arc Pro B70 en de eerste NVIDIA Rubin-platformen, die nog in previewfase verkeren.
AMD brengt de MI355X tot 512 GPU’s
De opvallendste statistiek betreft de configuratie met 512 AMD Instinct MI355X GPU’s, gepresenteerd door Crusoe. In GPT-OSS-120B bereikt deze setup 5,75 miljoen tokens per seconde in Offline en 5,39 miljoen in Server. In DeepSeek-R1 behaalt deze configuratie 2,90 miljoen tokens/sec offline en 2,41 miljoen in Server. AMD beschrijft deze resultaten als de hoogste totale tokenprestaties die tot nu toe in MLPerf voor deze workloads zijn geregistreerd.
De vergelijking vereist voorzichtigheid omdat niet alle configuraties hetzelfde aantal accelerators gebruiken. Zo haalt de AMD-configuratie met 512 GPU’s in DeepSeek-R1 2.901.950 tokens/sec, terwijl de NVIDIA GB300-configuratie met 288 GPU’s 2.705.130 tokens/sec registreert. AMD krijgt hiermee een hogere totale prestatie, maar dit betekent niet direct dat de efficiëntie per GPU gelijk is.
De situatie verandert wanneer het aantal wordt verlaagd.
In GPT-OSS-120B behaalt de MI355X met acht GPU’s 117.804 tokens/sec offline en 110.188 in Server, volgens de grafieken. De GB300 met acht GPU’s geeft 132.236 en 127.921 tokens/sec. De NVIDIA-opstelling behoudt dus een voorsprong in deze specifieke configuratie.
AMD toont bovendien een flinke verbetering naarmate het aantal MI355X GPU’s toeneemt. Het bedrijf meldt een schaal-efficiëntie van 95% tussen 8 en 72 GPU’s in GPT-OSS-120B, wat aangeeft dat een groot deel van de additionele theoretische prestaties behouden blijft bij een multi-node opstelling.
Dit gedrag is vooral relevant voor grote infrastructuren; terwijl de maximale score op zich minder zegt. Bij de uitbreiding van één server naar meerdere racks kunnen communicatie tussen GPU’s, geheugen, request-distributie en software knelpunten vormen.
Vera Rubin voor het eerst in MLPerf
Een andere grote nieuwigheid is de deelname van NVIDIA. Vera Rubin NVL72 verschijnt voor het eerst in MLPerf Inference met previewresultaten.
In DeepSeek-R1 registreert het 72-GPU VR200-systeem 1.183.327 tokens/sec offline, tegenover 689.961 tokens/sec voor een GB300 NVL72-systeem met dezelfde GPU-aantal. In Qwen3-VL bereikt Vera Rubin 1.307 queries per seconde, versus 349 voor de GB300, ongeveer 3,7 keer sneller. Deze voorlopige resultaten staan in NVIDIA’s documentatie vermeld als “preliminary”.
De vergelijking met Blackwell onderstreept ook dat schaalgrootte cruciaal is. Een GB300-systeem met 72 GPU’s behaalt 679.740 tokens/sec in DeepSeek-R1, terwijl een 288-GPU-configuratie 2.705.130 tokens/sec haalt. NVIDIA beweert dat de schaal tussen één en vier NVL72-platformen een 99% schaal-efficiëntie behoudt in de Offline modus.
Deze 99% betekent niet dat vier racks vier keer zo snel zijn in elke workload, maar dat de schaalgrootte binnen het DeepSeek-R1-benchmark relatief efficiënt is. Het geeft aan hoeveel extra prestatie wordt behaald bij het vergroten van de resource-allocatie.
NVIDIA wijt een deel van de verbetering tussen MLPerf 6.0 en 6.1 aan updates in hun software, zoals verbeteringen in kernels, operation fusion, cache-precisie en distributed serving-technieken, wat tot wel 1,6 keer snellere resultaten kan opleveren.
Intel bewijst dat software ook het verschil maakt
Intel presenteert zich met twee focusgebieden: de Xeon 6-processors en de GPU’s Arc Pro B70.
Bij Xeon 6 heeft Intel het aantal geteste modellen verhoogd van twee naar vijf vergeleken met MLPerf 6.0. Het bedrijf meldt dat een Xeon 6980P de Server-prestaties voor Llama 3.1 8B met een factor 2,4 heeft verbeterd ten opzichte van de vorige benchmark, terwijl de Offline-prestaties met 56% toenamen, zonder hardwarewijziging.
Met Arc Pro B70, een systeem met vier GPU’s en 128 GB VRAM, worden tests uitgevoerd met Llama 3.1 8B, Llama 2 70B, GPT-OSS-120B, Whisper en E2E-RAG.
In GPT-OSS-120B verhoogt Intel de scores met hetzelfde systeem van vier Arc Pro B70 GPU’s uit MLPerf 6.0: een verbetering van 36% in Server (van 951,67 naar 1.296,87 tokens/sec) en 27% offline (van 1.536,90 naar 1.956,40 tokens/sec).
De grafiekgegevens tonen dat Arc Pro B70 onderdoet voor de grote GPU’s van AMD en NVIDIA bij de grote LLM-taken. Bijvoorbeeld, voor Llama 3.1 8B, halen vier Arc Pro B70 ongeveer 4.977 tokens/sec offline, tegenover 158.458 voor de MI355X met acht GPU’s en 171.114 voor de GB300 met acht GPU’s.
De vergelijking is niet bedoeld om deze systemen gelijk te stellen; één van de interessante aspecten van MLPerf 6.1 is dat het nu plaatsvindt op een spectrum dat varieert van grote multinode-systemen tot kleine werkstations en servers.
De cijfers veranderen afhankelijk van het model
De resultaten van MLPerf 6.1 illustreren ook waarom één enkele “snelste GPU” niet voldoende is om een definitieve conclusie te trekken.
Bij Llama 2 70B bereikt een GB300 met acht GPU’s 132.253 tokens/sec offline, terwijl de MI355X met acht GPU’s 103.792 tokens/sec haalt. Voor Llama 3.1 8B scoort de GB300 171.114 tokens/sec, tegen 158.458 voor de MI355X. Maar in GPT-OSS-120B verschillen de prestaties opnieuw afhankelijk van de configuratie en omstandigheden.
Het aantal accelerators beïnvloedt ook de uitkomsten. In DeepSeek-R1 superieure prestatie van de AMD 512-GPU-configuratie boven de NVIDIA 288-GPU setup, terwijl Vera Rubin met slechts 72 GPU’s resultaten behaalt die ver boven de GB300 met 8 GPU’s liggen. Dit onderstreept dat vergelijkingen nuttig zijn om gedrag te begrijpen, maar geen universele ranglijst vormen.
Een andere factor die de complexiteit verhoogt, is software.
MLPerf vergelijkt specifieke configuraties, softwareversies en modellen. Zowel NVIDIA, AMD als Intel blijven hun inferentiepakketten continu optimaliseren. Hierdoor kan een vandaag gepubliceerde score worden overtroffen door een nieuwe kernelversie, compiler, bibliotheek of serving-systeem, zonder dat de hardware zelf is gewijzigd.
MLCommons wijst hierop met de verdere ontwikkeling van de benchmark. Meer dan de helft van de deelnemers gebruikte de nieuwe API-gebaseerde testmethode, ontworpen als basis voor toekomstige MLPerf Endpoints, met een client-server architectuur die meer lijkt op realistische datacenter-implementaties.
Zo leeft de competitie in MLPerf 6.1 voort op verschillende fronten. AMD bewijst dat de MI355X kan schalen tot 512 GPU’s met nieuwe cumulatieve tokenrecords; NVIDIA gebruikt Vera Rubin om voor het eerst zijn nieuwe generatie hardware te tonen binnen MLPerf, terwijl Blackwell nog steeds sterk meedraait; en Intel laat zien dat er nog ruimte is voor optimalisatie van Xeon en Arc Pro via software.
Voor AI-infrastructuurontwerpers is de maximale tokensnelheid slechts één aspect. Het model, de systeemgrootte, latency, schaal-efficiëntie, precisie, geheugen, software en operationele kosten bepalen welke aanpak voor een specifieke workload geschikt is. MLPerf 6.1 benadrukt dat de strijd niet alleen gaat om het snelste GPU-model, maar om het hele systeem dat zijn prestaties behoudt bij de overgang van laboratorium naar grootschalige productie.