De open AI-modellen groeien opnieuw tot cijfers die enkele jaren geleden moeilijk te beheren leken: Kimi K3 bereikt 2,8 biljoen parameters en DeepSeek-V4-Pro komt op 1,6 biljoen. De vooruitgang in architecturen met Mixture of Experts (MoE) maakt het mogelijk dat slechts een klein deel van het model wordt geactiveerd voor de verwerking van elke token, maar lost een fysiek probleem niet op: al die parameters moeten worden opgeslagen en beschikbaar zijn. Voor d-Matrix wordt die nieuwe race de geheugen, en niet alleen de rekencapaciteit, één van de belangrijkste beperkingen bij inferentie.
De sleutels van de nieuwe race om AI- geheugen in 20 seconden
- Kimi K3 haalt 2,8 biljoen parameters, maar activeert 104 miljard per token.
- DeepSeek-V4-Pro gebruikt in totaal 1,6 biljoen en activeert 49 miljard tijdens verwerking per token.
- MoE-modellen verminderen de benodigde berekeningen, maar hun gewichten blijven geheugen vereisen.
- HBM biedt capaciteit en bandbreedte, terwijl SRAM prioriteit geeft aan snelheid.
- d-Matrix kiest ervoor om DRAM direct naast de rekenunits te stapelen.
De paradox is dat modellen wellicht relatief weinig parameters hoeven te berekenen op elk bepaald moment, maar tegelijkertijd een infrastructuur vereisen die een gigantische bibliotheek met gewichten beschikbaar houdt voor wanneer die nodig zijn.
Kimi K3 toont dit glashelder. Moonshot AI specificeert 2,8 biljoen totale parameters en 104 miljard geactiveerd per token, ongeveer 3,7 % van het model. De architectuur bevat 896 experts en selecteert er 16 voor elk token.
DeepSeek-V4-Pro volgt een vergelijkbare gedachte op grotere schaal: 1,6 biljoen totale parameters, waarvan 49 miljard worden geactiveerd tijdens de verwerking van elk token.
Deze verschillen tussen opgeslagen parameters en actieve parameters veranderen de manier waarop accelerator-ontwerpen worden benaderd.
MoE-modellen besparen op berekeningen, maar niet op gewichten
De Mixture of Experts stelt het mogelijk om zeer grote modellen te bouwen zonder dat alle interne netwerken bij elke operatie hoeven te worden uitgevoerd.
In plaats van altijd alle parameters te gebruiken, bepaalt een selectiemechanisme welke experts voor elk token worden ingeschakeld. Het resultaat kan de benodigde berekening aanzienlijk verminderen ten opzichte van een gelijkmatig dicht netwerk.
Maar de experts die niet deelnemen aan de verwerking van een bepaald token, verdwijnen niet.
Ze blijven onderdeel van het model.
Wanneer een ander token een van hen nodig heeft, moet het systeem snel toegang kunnen krijgen tot hun parameters. Dit vergt het onderhouden van enorme hoeveelheden informatie in het geheugen of het ontwerpen van mechanismen om deze direct te halen uit langzamere lagen zonder de inferentie te verstoren.
Hier komt de zogenaamde memory wall (geheugengrens) om de hoek kijken.
Een accelerator kan beschikken over enorme aantallen rekenunits en toch gedeeltelijk wachten doordat het geheugen niet snel genoeg data kan leveren.
Bij generatieve inferentie wordt dit probleem vooral zichtbaar tijdens de decodeerfase, wanneer het model tokens achter elkaar genereert.
Meer rekencapaciteit toevoegen lost dat wachten niet per se op.
HBM, SRAM en DRAM lossen verschillende problemen op
De industrie beschikt over diverse technologieën voor het bouwen van geheugenhiërarchieën in AI-systemen, maar geen enkele combineert tegelijkertijd enorme capaciteit, extreme bandbreedte, lage latency, laag energieverbruik en lage kosten.
| Technologie | Belangrijkste voordeel | Belangrijkste beperking |
|---|---|---|
| SRAM | Zeer lage latency en enorme bandbreedte | Beperkte capaciteit en hoge kosten per bit |
| HBM | Veel bandbreedte met grote capaciteit | Kosten, verbruik, behuizing en capaciteit beperkt per accelerator |
| Gewoon DRAAM | Hoge capaciteit tegen lagere kosten | Lager in nabijheid en bandbreedte ten opzichte van de compute units |
| 3D DRAAM naast de rekenunits | Kortere afstanden en mogelijk hogere bandbreedte | Hogere fabricagecomplexiteit, temperatuurproblemen en integratie-uitdagingen |
SRAM is extreem snel en kan dicht bij de rekenunits worden geplaatst. Het nadeel is dat het veel ruimte op silicon vereist.
Honderden gigabytes of zelfs terabytes SRAM rondom een accelerator bouwen is praktisch zeer moeilijk.
HBM is de industrie-oplossing voor AI-GPU’s. Meerdere DRAM-stacks worden naast de processor geplaatst en via zeer brede interfaces verbonden, waardoor meerdere terabytes per seconde kunnen worden overgebracht.
Maar de modellen groeien sneller dan de beschikbare geheugencapaciteit van elke accelerator.
De gebruikelijke oplossing is dan het verdelen van het model over meerdere GPU’s.
Dit brengt een nieuw nadeel met zich mee: de communicatie tussen accelerators.
Meer GPU’s betekent ook meer dataverkeer
Het verdelen van een enorm model over meerdere kaarten biedt de capaciteit, maar dwingt de kaarten tot voortdurende gegevensuitwisseling.
Het interne netwerk wordt onderdeel van de kritische pad bij inferentie.
NVLink, InfiniBand, high-speed Ethernet en andere technologieën proberen dit probleem te verminderen, maar dataverkeer tussen kaarten blijft duurder dan binnen hetzelfde accelerator zoeken.
d-Matrix stelt dat het vergroten van de hoeveelheid geheugen dicht bij de rekenunits dataverplaatsingen aanzienlijk kan verminderen.
Het bedrijf ontwikkelt al jaren gespecialiseerde accelerators voor inferentie en werkt nu met gepileerde DRAM direct boven de compute-logica. De toekomstige architectuur Raptor volgt deze 3D-aanpak om de fysieke afstand tussen data en verwerkende units te verkorten.
Het idee is eenvoudig: als een kaart een groter deel van het model lokaal kan houden, zijn er minder sprongen tussen accelerators nodig.
Dat betekent niet dat de netwerkinfrastructuur overbodig wordt. Gesproken wordt nog steeds over gedistribueerde systemen voor modellen met meerdere biljoen parameters.
Maar het verminderen van onnodige datatransfers kan latentie, stroomverbruik en hardwaregebruik verbeteren.
Kimi K3 toont aan hoe snel het probleem zich ontwikkelt
De omvang van Kimi K3 zet de schaal van het probleem in perspectief.
Moonshot AI presenteerde in juli een model met 2,8 biljoen parameters, 896 experts en 104 miljard actieve parameters per token. Daarnaast beschikt het over een contextvenster van ongeveer een miljoen tokens.
Het ontwerp gebruikt MXFP4-quadratisatie voor de gewichten, wat de benodigde geheugenruimte aanzienlijk verlaagt in vergelijking met het opslaan van elke parameter in FP16 of BF16.
Toch blijft het inzetten van een model van deze omvang een aanzienlijke infrastructuuraanpassing vereisen.
Quadratisatie reduceert het aantal bits per parameter, maar verandert niets aan de fundamentele realiteit: 2,8 biljoen parameters betekenen nog steeds enorme hoeveelheden data, zelfs als elk slechts enkele bits gebruikt.
En het geheugen dat nodig is tijdens inferentie gaat verder dan alleen de gewichten.
Activaties, interne buffers en vooral de KV-cache nemen ook toe naarmate het contextlengte en het aantal gelijktijdige verzoeken toeneemt.
Dit verklaart waarom de volgende wedloop tussen accelerators waarschijnlijk niet alleen op FLOPS zal worden gebaseerd.
Doorvoer en latentie bewegen zich vaak in tegengestelde richtingen
Een ander probleem voor AI-diensten is dat GPU’s veel verzoeken tegelijk kunnen verwerken met batches. Het groeperen van verzoeken verhoogt de benutting van de hardware en verbetert doorgaans het totale aantal verwerkte tokens per seconde.
Maar wachten tot het batch vol is en deze te verwerken, kan de waargenomen latentie voor iedere gebruiker verhogen.
Aanbieders proberen een evenwicht te vinden tussen twee verschillende metrics:
Doorvoer, oftewel hoeveel tokens de hele infrastructuur kan produceren, en latentie, oftewel hoe lang het duurt voordat een gebruiker zijn antwoord krijgt.
d-Matrix focust veel op inferentie met lage latentie en kleine batches.
Het bedrijf beweert dat het dichter bij de rekenunits plaatsen van geheugen een hogere datastroom mogelijk maakt zonder afhankelijk te zijn van grote batches voor efficiënte verwerking van de units. Een aanpak die zich moet meten met commerciële oplossingen wanneer de Raptor op de markt komt.
Het bedrijf heeft al eerste siliconen van zijn 3D DRAAM-technologie getoond en werkt samen met Alchip aan de commerciële integratie ervan.
Memorystapeling brengt eigen problemen met zich mee
Het fysiek dichter bij elkaar plaatsen van DRAM en rekenlogica lijkt een logische oplossing, totdat men het fabricageproces bekijkt.
De logica van een accelerator genereert veel warmte.
DRAM daarentegen is gevoelig voor temperatuur omdat de cellen de elektrische lading moeten behouden die data representeert.
Het stapelen van lagen vereist nauwgezet koelingsbeheer, geheugenverfrissing en betrouwbaarheidstoepassingen.
Daarnaast moeten de lagen worden verbonden door een enorme hoeveelheid microscopische verbindingen, en moet de assemblage met acceptabele productierendementen gebeuren.
Onderzoek naar het eerste silicon van Raptor beschrijft technieken voor temperatuurregulatie, redundantie, foutcorrectie en refresheren van de DRAM.
Daarom is deze aanpak veel complexer dan simpelweg “geheugen op de chip plaatsen”.
Het grote voordeel ligt precies in het accepteren van deze fabricagecomplexiteit om een eenvoudiger dataverplaatsingsproces te realiseren.
De race gaat niet meer alleen om het sneller maken van een GPU
Tijdens de explosieve groei van generatieve AI werd vaak de prestaties van infrastructuur gekoppeld aan het aantal en type GPU’s dat beschikbaar was.
De evolutie van modellen maakt deze maatstaf steeds minder compleet.
Een systeem kan enorme rekenkracht hebben en toch beperkt blijven door geheugen, verbindingen of stroomverbruik.
De nieuwe MoE-modellen maken deze situatie extra zichtbaar.
Kimi K3 activeert slechts 104 miljard van zijn 2,8 biljoen parameters per token. DeepSeek-V4-Pro activeert 49 miljard van 1,6 biljoen. Het is een zeer efficiënte manier om onnodige berekeningen te vermijden, maar vergt wel dat een veel groter deel van de gewichten permanent klaarstaat.
De industrie reageert vanuit verschillende hoeken.
HBM blijft capaciteit en snelheid vergroten. High Bandwidth Flash probeert een nieuwe grote capaciteit laag tussen HBM en SSD’s te creëren. Fabrikanten van connectiviteit verhogen de bandbreedte tussen accelerators. Andere ontwerpen gebruiken gespecialiseerde SRAM.
d-Matrix zet in op het veranderen van de fysieke indeling van het geheugen.
Geen enkele technologie hoeft deze volledig te vervangen. Waarschijnlijk zullen toekomstige AI-systemen bestaan uit meerdere geheugenlagen, elk geoptimaliseerd voor data die het beste past bij hun capaciteit, latentie en bandbreedte.
De terugkeer van modellen met meer dan een biljoen parameters onderstreept waarom deze kwestie steeds belangrijker wordt.
MoE-technieken maken het mogelijk dat deze groottes weer praktisch worden, zonder dat er biljoenen parameters hoeven te worden verwerkt voor elke token.
Maar de focus verschuift nu.
Het gaat niet meer alleen om het aantal bewerkingen per seconde, maar ook om het juiste parameter op de juiste plek krijgen precies wanneer de accelerator dat nodig heeft.
Veelgestelde vragen
Hoeveel parameters heeft Kimi K3?
Kimi K3 heeft 2,8 biljoen totale parameters, volgens Moonshot AI. Het architecturesysteem van Mixture of Experts activeert ongeveer 104 miljard parameters per token.
Hoeveel parameters heeft DeepSeek-V4-Pro?
DeepSeek specificeert 1,6 biljoen totale parameters en 49 miljard actieve per token.
Waarom heeft een MoE-model zoveel geheugen nodig, terwijl het maar een klein deel van de parameters activeert?
Omdat alle experts deel uitmaken van het model en altijd toegankelijk moeten blijven, ook al worden slechts enkele voor elk token geactiveerd. MoE vermindert vooral de berekeningen, maar elimineert het geheugen voor de gewichten niet.
Wat levert het stapelen van DRAM direct boven een accelerator op?
Het vermindert de fysieke afstand die gegevens moeten afleggen en kan de bandbreedte voor berekeningen aanzienlijk verhogen. Daar staat tegenover dat het de complexiteit van de verpakking, koeling en geheugenbeheer toeneemt.
bron: d-matrix.ai