De Race om Next-Gen Kunstmatige Intelligentie: CoreWeave’s Doorbraak met NVIDIA GB300 NVL72

Inleiding

De race om Kunstmatige Intelligentie (KI) van de volgende generatie gaat niet alleen om de modellen zelf, maar ook om de infrastructuur die deze mogelijk maakt. Met de introductie van redeneringsmodellen — die in staat zijn complexe taken in meerdere stappen uit te voeren, gegevens te analyseren en als autonome agenten te functioneren — ligt de focus nu op latentie en invoersnelheid.

CoreWeave heeft aangekondigd dat hun nieuwe versies met NVIDIA GB300 NVL72, gebaseerd op de Blackwell Ultra GPUs, een 6,5 keer hogere prestatie in inferentie behaalden in vergelijking met een cluster van H100 GPUs met het DeepSeek R1-model.

Van Generatieve naar Redeneringsmodellen

De overgang van eenvoudige generatieve modellen naar redeneringsmodellen zoals DeepSeek R1 markeert een kwalitatieve sprong. Het is niet langer voldoende om alleen het volgende woord te voorspellen; nu zijn “chain-of-thought” processen vereist, die meerdere iteraties en zwaardere berekeningen omvatten.

Een veelvoorkomend probleem is dat deze modellen zeer gevoelig zijn voor latentie. Een vertraging in de inferentie kan hen onbruikbaar maken in real-time toepassingen, zoals programmerings- copiloten, financiële agenten of wetenschappelijke assistenten.

De Test van CoreWeave

CoreWeave vergeleek twee configuraties:

• 16 NVIDIA H100 GPUs die het model draaiden met tensor parallelism 16-way (TP16).
• 4 NVIDIA GB300 GPUs in de NVL72-structuur, gebruikmakend van tensor parallelism 4-way (TP4) door de grotere geheugen- en bandbreedte-capaciteiten.

Het resultaat: met slechts een kwart van de GPUs bereikte de GB300-configuratie 6,5 keer meer tokens per seconde, wat de communicatie-overhead tussen de GPUs drastisch verminderde. Dit vertaalt zich voor klanten naar snellere token-generatie, lagere latentie en een efficiënter gebruik van middelen.

Wat Maakt NVIDIA GB300 NVL72 Bijzonder?

De prestatieverbetering komt voort uit een radicale herontwerp van de architectuur:

• Massieve geheugen: Tot 37–40 TB totaal geheugen in één systeem, waardoor modellen met miljarden parameters zonder fragmentatie kunnen draaien.
• Ultrasnelle interconnecties: De vijfde generatie NVLink biedt 130 TB/s bandbreedte voor 72 Blackwell Ultra GPUs, waardoor de afhankelijkheid van traditionele PCIe wordt verminderd.
• Eind-tot-eind geoptimaliseerd netwerk: Met NVIDIA Quantum-X800 InfiniBand stromen gegevens efficiënt door de cluster, wat knelpunten die traditionele cloud-omgevingen hebben te boven komt.

De Voordelen van CoreWeave

Hardware alleen is niet genoeg. CoreWeave heeft een op AI gerichte cloudstack ontwikkeld die de mogelijkheden van de GB300 NVL72 maximaliseert:

• Rack LifeCycle Controller: Automatiseert de verificatie, firmware en systeemafbeelding om de stabiliteit van elke rack te waarborgen.
• Integratie met Kubernetes (CKS) en Slurm on Kubernetes (SUNK) met een NVLink-bewuste scheduler die ervoor zorgt dat taken binnen hetzelfde NVL72-domein worden uitgevoerd om het rendement niet te verliezen.
• Geavanceerde monitoring met Grafana dashboards die realtime inzicht geven in GPU-utilisatie, NVLink-verkeer en rack-beschikbaarheid.

Impact voor Ondernemingen

De efficiëntie die CoreWeave heeft bereikt is niet alleen een technische overwinning, maar ook een fundamentele verandering in de bedrijfsvoering:

• Versnelling van innovatie: Grotere modellen sneller trainen.
• Kostenbesparing (TCO): Meer performance per GPU en minder communicatie-overhead.
• Vertrouwen in productie: Een cloud die specifiek is ontworpen voor AI-lasten, met veerkracht en bedrijfsbetrouwbaarheid.

Conclusie

De NVIDIA GB300 NVL72, op grote schaal geïmplementeerd door CoreWeave, toont aan dat redeneringsmodellen niet langer een laboratoriumdroom zijn, maar een operationele realiteit. De combinatie van grotere geheugen, extreme bandbreedte en een geoptimaliseerde cloud maakt het mogelijk om next-gen modellen in real-time uit te voeren, met lagere kosten en een efficiëntere schaalbaarheid dan ooit tevoren.

In een tijd waarin de industrie zich richt op miljarden parameters modellen, suggereert deze benchmark dat de toekomst van grootschalige AI afhankelijk is van architecturen zoals die van de GB300 NVL72, waar hardware en software perfect samenwerken.

Veelgestelde Vragen (FAQ)

Wat maakt redeneringsmodellen anders dan generatieve?
Redeneringsmodellen genereren niet alleen tekst, maar voeren ook multi-stap processen uit (chain-of-thought), analyseren data en functioneren als agenten.

Wat is het belangrijkste voordeel van de GB300 ten opzichte van de H100?
De mogelijkheid om minder GPUs te gebruiken door meer geheugen en bandbreedte, wat communicatie-overhead vermindert en de doorvoer verhoogt.

Wat betekent dit praktisch voor bedrijven?
Minder latentie in inferentie, hogere schaalbaarheid en een betere kosten-prestatie verhouding voor kritische AI-lasten.

Waarom kiezen voor CoreWeave en niet een generieke cloud?
Omdat hun infrastructuur specifiek is ontworpen voor AI, met geoptimaliseerde racks, NVLink-bewust scheduling en geavanceerde monitoring die de prestaties maximaliseren.