d-Matrix heeft op Hot Chips 2026 nieuwe details gepresenteerd over Raptor, de volgende generatie accelerators voor inferentie van kunstmatige intelligentie, gebaseerd op een ongebruikelijke architectuur: het plaatsen van de rekenchip direct op een op maat gemaakte DRAM. Het belovende resultaat is tot wel 100 TB/s bandbreedte per kaart met 32 GB geheugen, een cijfer dat gericht is op een van de grote huidige limieten van generatieve inferentie: het snel verplaatsen van gegevens naar de rekenunits zonder het energieverbruik te verhogen.
De kernpunten van Raptor en zijn 3D-Memory in 30 seconden
- Raptor stapelt een 4 nm rekendie direct op een DRAM via face-to-face bonding met verbindingen van 36 micrometer.
- De architectuur behaalt tot wel 100 TB/s bandbreedte per kaart met 32 GB.
- d-Matrix meet een verbruik van 0,37 pJ/bit in de verticale interface.
- Een werkstuk gepresenteerd op ISCA schat een throughput tot 4,71 keer hoger dan een variant gebaseerd op HBM.
- Het ontwerp is specifiek gericht op generatieve inferentie, niet op het algemeen vervangen van training-GPU’s.
De aanpak is relevant omdat een groot deel van het debat over AI-accelerators de afgelopen jaren zich heeft geconcentreerd op het vergroten van capaciteit en snelheid van HBM (High Bandwidth Memory). d-Matrix biedt een andere oplossing: de herinnering nog dichter bij de berekeningen brengen tot beide elementen bijna één driedimensionale structuur worden.
Het bedrijf had zijn 3DIMC-technologie al getoond in 2025 via de experimentele chip Pavehawk. Raptor wordt de eerste commerciële toepassing van deze architectuur en volgt Corsair op, de inferentie-accelerator die d-Matrix momenteel produceert.
Het probleem dat Raptor probeert op te lossen is niet alleen sneller rekenen
Token-voor-token generatie van een taalmodel heeft een ongemakkelijke eigenschap voor hardware-ontwerpers.
Gedurende een groot deel van de decodeerfase kunnen de wiskundige eenheden van de accelerator voldoende rekenkracht hebben, maar ze moeten continu gewichten, caches en andere gegevens vanuit het geheugen ontvangen.
De zogenaamde bottleneck verschuift dan van de bewerkingen naar de geheugenbandbreedte.
Het academische artikel Early Silicon of Raptor: The First 3D-DRAM Accelerator for Generative Inference, gepresenteerd op de International Symposium on Computer Architecture (ISCA) 2026, identificeert generatieve inferentie precies als een werkbelasting die memoriaal beperkt is.
SRAM biedt enorme bandbreedte, maar grote capaciteit integreren is uiterst duur in siliciumoppervlak. HBM verhoogt aanzienlijk de capaciteit en houdt een hoge bandbreedte, maar vereist nog steeds dat informatie tussen gescheiden chips wordt getransporteerd via het omhulsel.
Raptor probeert die afstand nog verder te verkleinen.
Zijn rekendie wordt direct geplaatst op een speciaal ontwikkelde DRAM die specifiek voor deze architectuur is ontworpen. Beide worden via face-to-face verbindingen van 36 micrometer verbonden, wat zorgt voor een verticale interface met hoge dichtheid.
De fysieke afstand lijkt klein, maar het verplaatsen van een bit over enkele micrometers verbruikt beduidend minder energie dan over langere verbindingen.
Volgens Sudeep Bhoja, medeoprichter en CTO van d-Matrix, heeft het geteste silicium van het bedrijf ongeveer 0,37 pJ/bit gemeten voor de verticale data-overdracht.
d-Matrix meldde eerder waarden rond 0,4 pJ/bit tijdens tests met Pavehawk, waardoor de nieuwe waarde consistent is met de evolutie die het bedrijf zelf beschreef.
100 TB/s met slechts 32 GB: een bewuste keuze
De meest opvallende specificatie is de bandbreedte.
Elke Raptor-kaart beschikt over 32 GB geheugen en kan tot 100 TB/s bandbreedte bereiken.
Deze waarde overtreft ruim de bandbreedte van huidige HBM-implementaties, maar er is een belangrijk nuanceverschil: Raptor streeft niet naar enorme geheugencapaciteit per kaart.
Het is een bewuste keuze.
| Eigenschap | Raptor 3D-DRAM | Typisch ontwerp met HBM |
|---|---|---|
| Geheugen-integratie | DRAM direct gestapeld op logic | HBM naast de accelerator geplaatst |
| Capaciteit per kaart | 32 GB | Veel groter mogelijk |
| Bandbreedte | Tot 100 TB/s | Verschillende TB/s afhankelijk van implementatie |
| Afstand dataverkeer | Zeer kort door verticale interface | Groter door interconnect via het omhulsel |
| Hoofddoel | Laag-latentie inferentie | Algemene training en inferentie |
| Gewenst voordeel | Doorvoer en energiebesparing bij datamobiliteit | Hoge capaciteit en bandbreedte |
Vergelijken van slechts 100 TB/s met een GPU met HBM kan tot een verkeerde conclusie leiden.
Raptor is ontworpen voor een specifiek werkschema. Het wil geen alles-in-één accelerator zijn die alle modellen aankan en elke AI-operatie uitvoert zoals een conventionele GPU.
d-Matrix richt haar architectuur op generatieve inferentie met kleine batches, lage latency en veel gelijktijdige gebruikers.
De relatief beperkte capaciteit van 32 GB vereist bovendien dat grote modellen worden verdeeld over meerdere kaarten.
Daar komen software, geheugenorganisatie en interne netwerken van het systeem bij kijken.
De 4,71 keer hogere prestatiecijfer moet in context worden geplaatst
Het academische artikel dat aan Raptor is gekoppeld vergelijkt de 3D-DRAM-architectuur met hypothetische versies die HBM en SRAM gebruiken.
Onderzoekers evalueerden modellen zoals Llama 3.1 70B, DeepSeek-V3, Kimi K2, GPT-OSS, Whisper en Canary.
Volgens de gepubliceerde resultaten biedt de 3D-DRAM-configuratie 4,71 keer meer throughput dan de HBM-variant en 2,44 keer meer dan SRAM.
Het zijn indrukwekkende cijfers, maar betekenen niet dat Raptor elk model 4,7 keer sneller zal uitvoeren dan een commerciële HBM-GPU.
De vergelijking probeert de invloed van het geheugentype te isoleren door andere ontwerpcomponenten onder bepaalde condities te houden. Het is een academische evaluatie, geen onafhankelijke benchmark tegen specifieke producten van NVIDIA, AMD of andere fabrikanten.
Bovendien zijn delen van de resultaten gebaseerd op architectuurmodellering en initiële siliciumkarakterisering.
De meerwaarde ligt juist daarin: Raptor is niet alleen een simulatie. Het team heeft chips getest en gemeten om parameters zoals verbruik, thermisch gedrag en interfacebetrouwbaarheid te verifiëren.
Gegevens verplaatsen kost steeds meer energie
Een van de redenen waarom deze architectuur interessant is, ligt in het energieverbruik.
De rekenkracht van een accelerator gaat niet alleen over matrixvermenigvuldigingen.
Het verplaatsen van gegevens kost eveneens energie.
d-Matrix vergelijkt ongeveer 0,37 pJ/bit voor haar verticale interface met circa 2,4 pJ/bit voor het verplaatsen van data naar de basis die van een HBM4-implementatie.
Deze cijfers kunnen niet direct worden vergeleken voor het totale energieverbruik, omdat de routes, interfaces en functies verschillen.
Wat zij echter laten zien, is het fysische principe dat de hoeveelheid energie die nodig is, afneemt naarmate de afstand tussen geheugen en rekenpunt korter is.
Bij inferentie die enorme hoeveelheden data herhaaldelijk moet lezen, kan dat effect zich snel opstapelen.
d-Matrix zegt dat haar aanpak de energie en latentie kan verminderen ten opzichte van architecturen waar geheugen en berekeningen verder uit elkaar liggen. Het bedrijf had Pavehawk al gebruikt om deze hypothese te valideren voordat het dit naar Raptor vertaalde.
Een speciaal ontworpen DRAM voor onder de accelerator
Een andere bijzondere eigenschap van Raptor is dat d-Matrix niet zomaar een commerciële geheugenchip onder haar processor plaatst.
De DRAM-die is specifiek ontworpen voor deze architectuur.
Het bedrijf heeft niet publiekelijk het merk of de fabrikant van deze maatwerk geheugen onthuld, in de technische informatie die tijdens Hot Chips is gedeeld.
Wel bevestigt men dat het rekendie gebruikmaakt van een TSMC 4 nm-proces.
De integratie brengt problemen met zich mee die een standaardaardig systeem met HBM niet hoeft op te lossen.
Eén is de temperatuur.
Het plaatsen van actieve logica direct op DRAM betekent dat de geheugenmodules bij hogere temperaturen kunnen werken. Dit beïnvloedt de dataretentie en vereist aangepaste refresh-mechanismen.
Het academische werk beschrijft technieken voor bewuste temperatuurrefreshing, redundantie en foutencorrectie (ECC) om betrouwbaarheid te waarborgen.
Een ander probleem is het grote aantal geheugenbanken dat gelijktijdig kan werken.
Raptor gebruikt een techniek genaamd stream-blocking om datastromen te verdelen, inclusief de KV-cache van generatieve modellen, over configureerbare kanalen van de 3D-DRAM, en het paralellisme te behouden.
Daarnaast bevat het een variant van Data Bus Inversion, aangepast aan de verticale interface om elektrische transities en energieverbruik te reduceren.
Dit zijn minder zichtbare details dan de 100 TB/s, maar bepalen of de technologie laborklaar is.
De KV-cache past uitstekend bij dit ontwerp
Memory is een nog grotere uitdaging naarmate de contexten van modellen groter worden.
Tijdens inferentie houdt een model een KV-cache bij met informatie gegenereerd tijdens eerdere tokens.
Hoe groter de context en hoe meer gebruikers gelijktijdig worden bediend, hoe meer geheugen deze structuur vergt.
Maar het moet ook snel benaderd kunnen worden.
Raptor is ontworpen met deze datastromen in gedachten. Het ISCA-artikel beschrijft hoe de KV-cache kan worden verdeeld over de geheugenkanalen zonder dat het parallelle gedrag tussen banken verloren gaat.
De architectuur streeft ernaar twee vaak conflicterende doelen te combineren: een redelijke hoeveelheid DRAM en het geheugen zo dicht mogelijk bij de berekeningen brengen, zodat het kan functioneren met bandbreedte dichter bij SRAM dan bij traditionele geheugenoplossingen.
Deze combinatie verklaart de omschrijving die d-Matrix gebruikt voor haar aanpak: capaciteit vergelijkbaar met DRAM, met lokale toegang en bandbreedte dicht bij SRAM.
Raptor heeft nog steeds een netwerk nodig als het model groter wordt dan een kaart
De beperking van 32 GB per kaart brengt onvermijdelijk een andere vraag naar voren.
Modellen zoals Llama 3.1 70B, DeepSeek-V3 of Kimi K2 vragen mogelijk om meer geheugen dan dat, zelfs na kwantisatie.
Raptor moet deze grote modellen verdelen over meerdere accelerators.
Dit betekent dat de prestaties van het hele systeem mede afhankelijk zijn van communicatie tussen kaarten.
Het onderzoek stelt dat de 3D-DRAM-architectuur minder gevoelig is voor latentie en netwerkbandbreedte dan alternatieven. Een reden is het enorme interne bandwidth: lokale operaties kunnen heel snel worden afgerond, en het ontwerp probeert onnodige externe bewegingen te minimaliseren.
Maar het netwerk verdwijnt niet.
Bij grote modellen blijft het nodig om accelerators te coördineren, activaties te transporteren en werk te verdelen.
d-Matrix bouwt al enige tijd haar platform rond chiplets en hoge-snelheid interconnects. Haar huidige architectuur, Corsair, gebruikt een modulair ontwerp dat schaalbaarheid mogelijk maakt over meer dan één chip.
RISC-V wordt ook onderdeel van Raptor
Raptor zal ook RISC-V-kernen bevatten.
In november 2025 kondigde d-Matrix aan dat het AndesCore AX46MPV van Andes Technology had geselecteerd als CPU voor orkestratie en vectorale berekeningen in haar nieuwe architectuur.
Deze kernen zullen taken beheren zoals workload-distributie, geheugencoördinatie en runtimecontrole, en sommige operaties zoals activatiefuncties afhandelen.
Het gebruik van RISC-V is secundair aan de innovaties op geheugengebied, maar laat zien hoe ver Raptor afwijkt van een conventionele GPU.
Het systeem combineert eigen inference-logica, 3D-DRAM, RISC-V-kernen en een chiplet-architectuur die van meet af aan is ontworpen rondom dataverkeer.
Dat verklaart ook waarom het niet simpelweg als een “snellere GPU” moet worden gezien.
De inferentiestrijd verschuift naar geheugen
Raptor arriveert op een moment dat de industrie experimenteert met verschillende oplossingen voor hetzelfde probleem.
HBM evolueert nog steeds richting HBM4 en latere generaties.
High Bandwidth Flash stelt voor om een enorme capaciteit tussen HBM en SSD’s toe te voegen voor bepaalde workloads.
CPU-fabrikanten voegen matrix-extended instructies toe.
En bedrijven zoals d-Matrix proberen fysiek reken- en geheugenelementen dichter bij elkaar te brengen om de dataverplaatsing zo goedkoop mogelijk te maken.
Deze strategieën kunnen bestaan naast elkaar omdat ze verschillende problemen oplossen.
Voor het trainen van grote modellen bieden GPU’s en accelerators met veel HBM nog steeds een combinatie van capaciteit, bandbreedte, interne connectiviteit en software die moeilijk te evenaren is.
Voor interactieve inferentie, waar het snel genereren van tokens voor miljoenen gebruikers belangrijker is dan een theoretisch hoog FP4-prestatieniveau, kan de balans anders liggen.
Daar positioneert d-Matrix Raptor.
Het bedrijf moet nog aantonen dat haar silicium en prestatieconcepten standhouden in commerciële systemen, wanneer de architectuur schaalt, in realistische toepassingen wordt ingezet en concurreert met nieuwe generaties GPU’s.
Maar de presentatie op ISCA en Hot Chips geeft een belangrijke boodschap: de verbetering van AI-prestaties hangt niet meer alleen af van het fabriceren van snellere rekeneenheden.
Steeds belangrijker wordt de energie die nodig is om gegevens te verplaatsen.
Raptor brengt dat idee tot een uiterste fysieke oplossing: geheugen direct onder de rekenunit plaatsen en beide verbinden via duizenden microscopische verbindingen.
Als deze architectuur erin slaagt die 100 TB/s van technisch demonstratiemateriaal naar commercieel concurrerende servers te brengen, heeft d-Matrix een van de grootste problemen van generatieve inferentie, de afstand tussen geheugen en rekeneenheden, omgevormd tot een kernkenmerk van haar accelerator.
Veelgestelde vragen
Wat is d-Matrix Raptor?
Raptor is de volgende generatie AI-inferentie-accelerators van d-Matrix. Gebouwd rond een 3DIMC-architectuur waarbij berekeningslogica en DRAM direct gestapeld zijn om de latentie en het energieverbruik bij datatransfer te verminderen.
Hoeveel bandbreedte biedt Raptor?
De gepresenteerde architectuur bereikt tot 100 TB/s bandbreedte per kaart met 32 GB 3D-DRAM.
Is Raptor sneller dan een GPU met HBM?
Het studieonderzoek op ISCA schat 4,71 keer meer throughput voor de Raptor-architectuur dan een equivalente variant met HBM voor de geëvalueerde workloads. Deze waarde moet niet worden opgevat als een universeel betere prestatie dan elke commerciële GPU, want het hangt af van de specifieke architectuur en scenario’s.
Welke fabricageproces gebruikt Raptor?
d-Matrix heeft aangegeven dat de rekendie gebruikmaakt van een TSMC 4 nm-proces. Het bedrijf heeft niet openbaar gemaakt wie de op maat gemaakte DRAM heeft geleverd.