De Toekomst van Digitale Infrastructuur: AI-fabrieken en hun Economie

De opkomst van kunstmatige intelligentie (AI) heeft een nieuw hoofdstuk geopend in de wereld van digitale infrastructuren: de zogenaamde “AI-fabrieken”. Deze enorme datacentra zijn ontworpen om modellen van inferentie op industriële schaal uit te voeren. Maar wat analisten en investeerders echt aanspreekt, is de economie achter deze technologie.

Een recent rapport van Morgan Stanley heeft heldere cijfers gepresenteerd: NVIDIA leidt met een operationele winstmarge van 77,6 % dankzij hun racks GB200 NVL72, terwijl concurrenten zoals Google, Amazon en Huawei ook aanzienlijke winsten behalen. Aan de andere kant lijdt AMD aan aanzienlijke verliezen, met negatieve marges tot -64 % op hun recentste platforms.

Wat is een “AI-fabriek”?

De term “AI-fabriek” is geen metaforisch begrip. Het verwijst naar een gestandaardiseerd model van een datacenter met een vermogen van 100 MW, ontworpen om de rentabiliteit van op grote schaal uitgevoerde inferentie te meten.

Morgan Stanley heeft een analysekader ontwikkeld, het “100MW AI Factory Model”, dat is gebaseerd op drie pilaren:

1. Gestandaardiseerde rekeneenheid: 100 MW aan elektriciteitsverbruik, wat overeenkomt met ongeveer 750 racks van hoge-dichtheid servers.

2. Gedetailleerde kostenoverzicht: Dit omvat bouwkosten (660 miljoen dollar, afgeschreven over 10 jaar), hardware-aankoopkosten (tussen de 367 miljoen en 2,273 miljard dollar, afgeschreven over 4 jaar) en operationele kosten voor elektriciteit en koeling.

3. Marktinkomensformule: Verbonden met de productie van tokens in taalmethoden, waarbij de gemiddelde referentieprijs 0,20 dollar per miljoen tokens is, aangepast voor een werkelijke benutting van 70 % van de apparatuur.

Volgens deze methodologie berekent Morgan Stanley dat een typische AI-fabriek een jaarlijke totale eigendomskosten (TCO) heeft van tussen de 330 en 807 miljoen dollar, afhankelijk van de gekozen hardware.

NVIDIA: Duurste Investering, Maar de Meest Winstgevende

Elk rack NVIDIA GB200 NVL72 bevat 72 B200 GPU’s en 36 Grace CPU’s, met hoge snelheidsverbindingen via NVLink 5. De prijs is ongeveer 3,1 miljoen dollar per rack, vergeleken met 190.000 dollar voor een oudere H100 rack.

Toch zijn de financiële berekeningen overtuigend:

• Operationele marge: 77,6 %.
• TCO in 100 MW: 806,58 miljoen dollar.
• Inkomsten: De efficiëntie in inferentie verhoogt de opbrengst per GPU, wat leidt tot recordwinsten.

NVIDIA’s leiderschap komt niet alleen door de brute kracht van hun chips, maar door de integratie van een compleet software-ecosysteem (CUDA, TensorRT, geoptimaliseerde frameworks) dat ervoor zorgt dat elke dollar die in hardware wordt geïnvesteerd, resulteert in meer verwerkte tokens en dus meer inkomsten.

Google, Amazon en Huawei: Stevige Winsten

Het rapport van Morgan Stanley toont aan dat andere technologiegiganten ook positieve winstgevendheid behalen, met enkele nuances:

• Google TPU v6e pods: 74,9 % marge. De exacte prijs is onbekend, maar huren kost naar schatting tussen de 40 % en 50 % minder dan een NVL72 rack.

• AWS Trn2 UltraServer: 62,5 % marge. Amazon maakt gebruik van eigen hardware om huurkosten te verlagen en biedt geoptimaliseerde inferentie in hun cloud aan.

• Huawei Ascend CloudMatrix 384: 47,9 % marge. Alhoewel ze niet het niveau van NVIDIA of Google bereiken, bieden ze een winstgevende alternatieve optie in Azië, vooral na de exportbeperkingen van Amerikaanse chips.

AMD: Verlies Dat Niemand Verwachtte

De koude douche van het rapport is AMD. Hun platforms MI300X en MI355X, die bedoeld zijn om te concurreren in de sector van high-performance AI, vertonen marges van -28,2 % en -64 % respectievelijk.

De reden is eenvoudig:

• Zeer hoge initiële kosten, vergelijkbaar met die van NVIDIA.
• Efficiëntie in inferentie is veel lager, wat de tokenproductie en inkomsten vermindert.

De jaarlijkse TCO van een MI300X bedraagt 774 miljoen dollar, slechts iets onder de 806 miljoen van de NVIDIA GB200. Het verschil is dat, terwijl NVIDIA voldoende inkomsten genereert om hun marge te vermenigvuldigen, AMD deze kosten niet kan dekken.

Een Nieuwe Businessmodel: Inferentie als Fabriek

De grote conclusie van Morgan Stanley is dat AI-inferentie niet alleen een technologische uitdaging is, maar een meetbaar en herhaalbaar businessmodel, met duidelijke investerings- en terugverdienformules.

De AI-fabrieken zouden de volgende biljoen dollar infrastructuurklasse kunnen worden, net als elektriciteitscentrales of telecommunicatienetwerken.

Dit roept urgente vragen op:

• Hoe zorgen datacenterarchitecten voor voldoende elektrische capaciteit om GPUs van 1.200W of meer te ondersteunen?
• Kunnen nutsbedrijven hun productiecapaciteit verhogen in lijn met de groeiende vraag naar AI?
• Hoe balans te vinden tussen snelheid van implementatie, vloeibare koeling en regelgevende goedkeuringen om de winstgevendheid te maximaliseren?

Ecosystemen en de Volgende Strijd

Het rapport waarschuwt ook dat de volgende oorlog niet alleen om chips zal gaan, maar om connectiviteitsecosystemen.

In het veld zonder NVIDIA, stimuleren AMD met UALink een open standaard met lage latentie voor interverbinding tussen GPUs, terwijl bedrijven als Broadcom Ethernet als een flexibele alternatieve oplossing verdedigen. De afloop van deze strijd zou kunnen bepalen of er een open ecosysteem opkomt dat een serieuze concurrent kan zijn voor NVLink, NVIDIA’s eigen verbinding.

Ondertussen gaat NVIDIA verder met haar routekaart. Hun volgende sprong, het “Rubin”-platform, wordt verwacht voor 2026, en belooft de verwachtingen voor hun rivalen nog verder te verhogen.

Conclusie: Ongelijke Winstgevendheid in de Race om AI

De cijfers van Morgan Stanley onthullen een brutale divergentie:

• NVIDIA en Google zetten de toon met marges van bijna 80 %.
• Amazon en Huawei tonen aan dat het mogelijk is om winstgevend te zijn in een hypercompetitieve markt.
• AMD daarentegen valt terug met verliezen die hun strategie in AI in twijfel trekken.

AI-inferentie, die volgens het rapport 85 % van de toekomstige markt vertegenwoordigt, gaat niet alleen om krachtige chips, maar ook om preciese economie en industriële schaalbaarheid.

De boodschap is helder: AI-fabrieken zullen niet alleen tokens en modellen produceren, maar ook onprecedented winstmarges voor degenen die de technologische en financiële vergelijking weten te beheersen.