Microsoft heeft Maia 300 geïntroduceerd, de derde generatie van kunstmatige intelligentie (AI) versnellingsmodules, met een datastructuur die 96 chips per rack combineert, gebruikmaakt van hoge-bandbreedte HBM4-geheugen en vooral vloeistofkoeling toepast. Het bedrijf plant de productie-uitrol te starten in 2027 en wil deze platform verder uitbouwen tot een van de kernsystemen voor de inferentie van zijn producten en diensten. Het doel is om meer AI-queries te verwerken met minder energie, en de afhankelijkheid van derde partij versnellers te verminderen.
De kernpunten van Microsoft Maia 300 in 30 seconden
- Elke versnellingsmodule bevat acht stacks van HBM4-geheugen, met 288 GB capaciteit en een maximale bandbreedte van 18 TB/sec.
- Een rack bestaat uit 96 versnellingsmodules en heeft een ontwerpvermogen van 167 kW.
- Vloeistofkoeling verwijdert meer dan 80% van de thermische belasting van de versnellingsmodules, spanningsregelaars en schakelingen.
- Microsoft belooft tot zeven keer meer tokenverwerking per rack dan Maia 200 en 40% meer tokens per megawatt in vergelijking met GPU-basesystemen.
- De productie zal in 2027 beginnen, met een netwerkaansluiting die tot 12.288 versnellingsmodules in een superpod kan verbinden.
De aankondiging van Microsoft op 12 oktober 2026 laat zien hoe grote cloudprovider zich evolueren van chip-ontwikkeling naar het bouwen van volledige AI-systemen. Bij Maia 300 worden processor, geheugen, hoge-snelheidsverbindingen, voeding en koeling ontworpen om als één samenhangend platform te functioneren.
De focus ligt vooral op inferentie, de fase waarin een getraind model antwoorden genereert of taken uitvoert. Microsoft richt zich op modellen met lange contexten, lage-latentie gesprekken en AI-agents die meerdere bewerkingen achtereenvolgend uitvoeren.
HBM4 en chiplet-architectuur voor het minimaliseren van knelpunten
Elke Maia 300-versnellingsmodule bevat acht stacks van HBM4, met in totaal 288 GB geheugen en een maximale bandwidth van 18 TB/sec. HBM, wat staat voor High Bandwidth Memory, is een gestapelde geheugentechnologie die snelle gegevensoverdracht tussen geheugen en processor mogelijk maakt.
Capaciteit en bandbreedte zijn cruciaal omdat AI-modellen voortdurend parameters, contextgegevens en intermediate states moeten verplaatsen om antwoorden te genereren. Wanneer geheugentoegang het systeem beperkt, garandeert extra rekenkracht alleen geen evenredige prestatiewinst.
Microsoft beweert dat Maia 300 2,5 keer de geheugenbandbreedte van Maia 200 biedt, en 33% meer capaciteit. Daarnaast noemt het een ongeveer twee keer hogere efficiëntie in bandbreedte HBM per watt ten opzichte van de vorige generatie. Deze cijfers zijn gebaseerd op door Microsoft verstrekte gegevens en geen onafhankelijke tests.
De chip gebruikt een chiplet-architectuur — meerdere gespecialiseerde siliciumblokken die binnen één pakket samenwerken. De rekenchiplets worden vervaardigd via TSMC’s N2P-proces, een technologie van 2 nanometer, terwijl controlerelementen voor geheugen en I/O op aangepaste blokken worden geplaatst.
Deze aanpak maakt het mogelijk om het meest geavanceerde fabricageproces toe te passen voor rekenunits en verschillende oplossingen voor andere functies. Microsoft stelt dat dit ontwerp de efficiëntie verhoogt en de kosten beter beheersbaar maakt dan een architectuur die alle functies in één siliciumblok combineert.
Het systeem maakt ook gebruik van numerieke gegevensformaten met lage precisie, waaronder een verbeterde versie van MXFP4. Zulke formaten verkleinen datahoeveelheid en data-overdracht, afhankelijk van het model en de operationele precisie-eisen.
Een rack van 167 kW met vloeistofkoeling
De volledige Maia 300-configuratie bestaat uit 96 versnellingsmodules in 24 trays, elk met vier chips. Het rack heeft een vermogen van 167 kW en combineert processor, geheugen, opslag en connectiviteitsinfrastructuur in één datacenter-vriendelijk geheel.
Vloeistofkoeling dekt meer dan 80% van de thermische belasting van de versnellingsmodules, spanningsregelaars en schakelingen. Andere componenten, zoals geheugen, opslag en hulpsystemen, worden gekoeld met lucht.
Het systeem kan direct worden aangesloten op het watercircuit van het datacenter, indien aanwezig. Bij afwezigheid kan een warmtewisselaar worden ingezet om warmte af te voeren op basis van luchtkoeling. Deze flexibiliteit vergemakkelijkt uitrol, maar vereist wel juiste dimensionering van stroom en koeling.
Door de hoge dichtheid vereist het systeem een betrouwbare stroomvoorziening, een efficiënte distributie en koelsystemen die de temperaturen binnen veilige grenzen houden. Microsoft integreert twee energielijnen, krachtige vermogensdistributiesystemen en een 50-volt busarchitectuur om energie binnen het rack te beheersen.
Elektrische verbindingen verbinden de chips binnen trays en maken communicatie via switches mogelijk, die in vloeistofkoeltrays zitten. Inter-rack communicatie gebeurt via een optisch netwerk dat grotere afstanden overbrugt.
De architectuur is schaalbaar tot een superpod met 12.288 versnellingsmodules, verdeeld over maximaal 128 racks, volgens Microsoft’s ontwerp. Zo kunnen inferentietaken verdeeld worden over meerdere chipsgroepen en afgestemd op specifieke modelsystemen.
Microsoft belooft tot zeven keer meer prestaties per rack
Microsoft stelt dat Maia 300 tot zeven keer meer tokens kan verwerken per rack dan Maia 200 met een volledige configuratie van 96 versnellingsmodules. Ook wordt geschat dat het systeem ongeveer 40% meer tokens per megawatt kan verwerken dan vergelijkbare GPU-systemen.
Deze cijfers zijn niet universeel voor alle workloads. Effectieve prestaties hangen af van het gebruikte model, de lengte van de context, gelijktijdigheid, netwerkinstellingen en load-balancing tussen de versnellingsmodules. Microsoft biedt geen onafhankelijke vergelijking die alle omstandigheden reproduceert.
De focus ligt op toepassingen zoals Microsoft Copilot, GitHub Copilot, Microsoft Foundry en eigen AI-modellen. Maia 200 bevindt zich al in productie bij Microsoft voor bepaalde workloads, terwijl Maia 300 in 2027 in uitrol wordt genomen.
Door eigen chips te ontwikkelen, kan Microsoft hardware afstemmen op haar modellen en diensten, en minder afhankelijk worden van commerciële AI-accelerators van Nvidia of AMD. Het bedrijf behoudt wel de mogelijkheid om meerdere platformen te combineren, afhankelijk van kost, beschikbaarheid en specifieke eisen.
De uitdaging ligt vooral in het omzetten van deze verbeteringen in grootschalige operationele systemen. HBM4-geheugen, vloeistofkoeling en interconnects maken hogere dichtheid mogelijk, maar vereisen investeringen in infrastructuur en een gerichte afstemming tussen hardware, software en datacenters.
Veelgestelde vragen
Welke geheugenmodule gebruikt Microsoft Maia 300?
Elke versnellingsmodule bevat acht stacks HBM4, met 288 GB geheugen en een maximale bandbreedte van 18 TB/sec, volgens Microsoft’s specificaties.
Hoeveel versnellingsmodules heeft een Maia 300-rack?
Een rack bestaat uit 96 versnellingsmodules, met een vermogen van 167 kW, verdeeld over 24 trays van vier modules elk.
Wanneer start de uitrol van Maia 300?
Microsoft plant de operationele uitrol in 2027. De platform is vooral bedoeld voor AI-inferentie binnen hun diensten en producten.
Wat zijn de voordelen van vloeistofkoeling?
Vloeistofkoeling verwijdert meer dan 80% van de thermische belasting van de versnellingsmodules, spanningsregelaars en schakelingen. Geheugen en andere componenten blijven gekoeld met lucht.