AMD heeft cijfers gepubliceerd over het potentieel van een van de technologieën die de toekomst van geheugen voor AI-versnellers kunnen veranderen. Het bedrijf schat dat een DRAM 3D-architectuur verbonden via hybrid bonding tot wel 17 keer efficiënter in energieverbruik kan zijn dan een HBM-stapeling op basis van microbumps. Deze aanpak is aantrekkelijk voor systemen waarin het verplaatsen van data steeds meer energie kost, hoewel er nog aanzienlijke thermische, fabricage- en betrouwbaarheidsproblemen bestaan die een directe vervanging van HBM voorlopig verhinderen.
De kernpunten van 3D-DRAM in 20 seconden
- AMD schat tot 17 keer meer energie-efficiëntie ten opzichte van HBM met microbumps.
- De voorgestelde aanpak brengt fysiek de DRAM dichter bij de processor door middel van zeer dichte koperen verbindingen.
- Hybrid bonding verkleint de afstand en vermindert de energie die nodig is om elke bit te verplaatsen.
- Temperatuur, fabricageprestaties en vervuiling blijven grote obstakels.
- HBM blijft essentieel voor de komende generaties AI-versnellers.
Het getal moet echter met enige voorzichtigheid worden geïnterpreteerd. AMD heeft geen commercieel product aangekondigd met deze voordelen of een datum voor marktintroductie. Het betreft een inschatting van de mogelijkheden van een architectuur op basis van hybride verbindingen, niet de bevestiging dat een dergelijk geheugen al commercieel beschikbaar is dat 17 keer minder stroom verbruikt dan HBM.
De huidige strategie van AMD toont bovendien aan dat HBM nog lang niet afgeschreven is. De architectuur CDNA 5 bevat 432 GB HBM4 verdeeld over 12 stapelingen en bereikt 23,3 TB/s bandbreedte. In maart kondigde AMD ook een samenwerking met Samsung aan voor de levering van HBM4 voor hun Instinct MI455X-versnellers.
De vraag ligt verder: wat gebeurt er wanneer het vergroten van capaciteit, bandbreedte en aantal stapelingen fysische en energielimieten begint te raken?
Van geheugen naast de processor naar plaatsen erboven of eronder
HBM maakt al gebruik van een driedimensionale architectuur. Meerdere lagen DRAM worden verticaal gestapeld en communiceren via vertical-integration-verbindingen in het silicon, bekend als TSV (Through-Silicon Vias). Daarna worden deze stapelingen naast de processor geplaatst in een geavanceerde behuizing.
Het voordeel ten opzichte van conventioneel DDR-geheugen is aanzienlijk. AMD schrijft bijvoorbeeld aan de Versal HBM met HBM2e tot zes keer meer bandbreedte toe en 65% lager energieverbruik per bit, in vergelijking met bepaalde configuraties van Versal Premium met extern geheugen.
3D-DRAM brengt deze nabijheid nog een stap verder.
In plaats van geheugen te stapelen naast de processor en via de behuizing te communiceren, is het idee om logica en geheugen verticaal te integreren, waardoor de fysieke afstand die data moet afleggen aanzienlijk wordt verkort.
Hier komt hybrid bonding of hybride verbinding om de hoek kijken.
Huidige generaties HBM gebruiken vooral kleine fysieke verbindingen, bekend als microbumps. Deze werken, maar beperken de minimale afstand tussen verbindingen, de verbindingsdichtheid en de energie-efficiëntie.
Hybrid bonding verwijdert deze kleine laspunten en creëert directe koper-op-koper-verbindingen tussen de oppervlaktes van de chips.
Het potentieel hiervan is een veel hogere verbindingsdichtheid. Met duizenden of miljoenen extreem korte verbindingen kan elke verbinding op een relatief gematigde snelheid werken en toch een enorme totale bandbreedte bieden.
Dat verlaagt ook het energieverbruik per verplaatst bit.
En die factor krijgt net zo veel aandacht als de rekenkracht.
AI-versnellers voeren enorme hoeveelheden operaties uit per seconde, maar moeten hun rekeneenheden constant voeden met gewichten, activaties en andere data. Als het verplaatsen van deze informatie tussen geheugen en processor te veel energie kost, lost het verbeteren van alleen de rekenunits het probleem niet op.
Het voorbeeld van d-Matrix wijst de weg voor toekomstig geheugendesign
Deze ideeën beginnen al uit laboratoria te komen.
d-Matrix presenteerde recent hun Raptor, een AI-inferentieversneller die een rekenchip combineert die op 4 nanometer is gefabriceerd met een speciaal ontworpen DRAM voor het systeem.
Beide componenten zijn verticaal verbonden.
De fabrikant heeft ongeveer 0,37 picoJoule per bit gemeten in de verticale interface, tegenover circa 2,4 pJ/bit voor het transporteren van data naar de basischip van HBM4.
Volgens gegevens van d-Matrix bereikt het systeem 100 TB/s bandbreedte met 32 GB geheugen per kaart. Dit zijn cijfers van de fabrikant en verschillen van de theoretische architectuur die aan AMD wordt toegeschreven, dus ze moeten niet verward worden met de 17-voudige verbetering. Maar ze onderstrepen wel waarom verticale integratie zoveel belangstelling geniet.
Samsung onderzoekt eveneens een soortgelijke evolutie. Tijdens Hot Chips 2026 presenteerden zij een strategie waarbij toekomstige generaties nog meer logica binnen het geheugensysteem kunnen bevatten en op lange termijn DRAM direct op de processor kan worden geplaatst.
Dezelfde uitdaging wordt erkend: de hitte.
Temperatuur is hét grote probleem voor deze architectuur
Het plaatsen van geheugen boven op een processor lijkt eenvoudig, maar een AI-versneller kan honderden watt aan warmte genereren.
DRAM is gevoelig voor temperatuur. De cellen slaan informatie op met kleine elektrische ladingen die regelmatig moeten worden ververst. Bij hogere temperaturen kan de retentie van deze ladingen verslechteren en neemt de verversing toe.
Een tweede thermisch probleem ontstaat tijdens fabricage.
Hybrid bonding vereist extreem fijne en schone oppervlakken. Na het initiële contact tussen de materialen worden thermische processen ingezet om een betrouwbare verbinding tussen de koperen connectoren te bereiken.
Hoge temperaturen kunnen de eigenschappen van de DRAM beïnvloeden.
Het oplossen van dit probleem betekent het ontwikkelen van bevestigingsprocessen die werken binnen thermische grenzen die compatibles zijn met het geheugen en die tegelijkertijd betrouwbare verbindingen gedurende de hele levensduur van het apparaat garanderen.
Daarnaast moet ook worden voorzien in effectieve warmteafvoer uit het geheel.
Een mogelijkheid is om de architectuur om te keren. In plaats van geheugen boven de logica met veel warmte, kunnen ontwerpen worden gemaakt waarbij de DRAM onder de processor ligt of dat de thermische stroom een directer pad naar het koelsysteem vindt.
Omdat veel factoren meespelen — zoals vermogensdichtheid, aantal lagen, materialen, koeling en behuizingsontwerp — bestaat er nog geen universele oplossing.
Een microscopisch stofje kan een chip defect maken
Het andere grote obstakel is minder zichtbaar, maar kan financieel even belangrijk zijn.
Hybrid bonding vereist een uitzonderlijk vlak en schoon oppervlak.
De oppervlakken moeten zeer nauwkeurig worden uitgelijnd om koperen verbindingen correct te laten aansluiten. Een contaminatie van slechts enkele nanometers kan voorkomen dat bepaalde zones goed verbonden worden.
Dat probleem wordt nog kritischer bij de productie van miljoenen componenten.
Technologie kan perfect werken in laboratoriumomstandigheden, maar financieel onhaalbaar zijn wanneer het defectpercentage te hoog wordt. Hoe ingewikkelder de lagen en verbindingen, des te belangrijker de fabricage-efficiëntie of yield.
De industrie ontwikkelt al jaren hybrid bonding voor diverse toepassingen, met al commercieel gebruik. Toch brengt het toepassen op complexe logische structuren en multi-layer DRAM nieuwe problemen op het gebied van prestaties, kosten, inspectie, betrouwbaarheid en thermische emissie.
Daarom is het te vroeg om 3D-DRAM als directe vervanger van HBM te zien.
HBM blijft veel potentieel hebben
De zoektocht naar alternatieven betekent niet dat HBM klaar is.
HBM4 begint al te worden ingezet in nieuwe generatie versnellers en fabrikanten werken aan verdere evoluties. Het hybrid bonding kan bijvoorbeeld ook een rol gaan spelen binnen toekomstige HBM-generaties.
AMD kiest expliciet voor HBM4 in CDNA 5, terwijl Samsung, SK hynix en andere producenten onderzoek doen naar steeds meer geïntegreerde structuren.
Het meest waarschijnlijke scenario is geen plotselinge vervanging, maar een geleidelijke evolutie.
HBM kan blijven toenemen in capaciteit en bandbreedte, terwijl gespecialiseerde architecturen ontstaan met geïntegreerde DRAM en logica. Ook andere opties bestaan, zoals geheugen dat dicht bij de rekeneenheden ligt of gebruik van CXL (Compute Express Link) om grote hoeveelheden geheugen te vergroten of te delen.
De onderliggende reden is dezelfde: voor AI-systemen is het niet genoeg om alleen snellere processors te hebben.
Het verplaatsen van enorme hoeveelheden data tussen geheugen en compute units, en dat doen met een redelijke energie-inzet, blijft cruciaal.
Een 3D-DRAM die de door AMD geschetste verbeteringen mogelijk maakt, zou die vergelijking kunnen veranderen. Maar daarvoor moet eerst bewezen worden dat het op grote schaal kan worden geproduceerd, jarenlang onder zware thermische belasting kan functioneren en tegen een concurrerende prijs voldoende capaciteit biedt.
Tot die tijd blijven die 17x slechts een potentieel van een architectuur, niet de prestaties van een memorie die vandaag te koop is.
Veelgestelde vragen
Wat is 3D-DRAM?
Het is een architectuur die streeft naar het verticaal integreren van lagen DRAM heel dicht bij de logica van de processor. Het doel is om de afstand die data moeten afleggen te verkorten en de dichtheid van verbindingen tussen geheugen en processor sterk te verhogen.
Is het echt 17 keer efficiënter dan HBM?
AMD suggereert een potentieel tot 17 keer verbetering ten opzichte van een HBM-architectuur gebaseerd op microbumps. Dit moet echter niet worden opgevat als een vergelijking tussen twee commercieel verkrijgbare producten of als een reeds beschikbare verbetering in versnellertools.
Zal HBM verdwijnen door de komst van 3D-DRAM?
Niet op korte termijn. HBM4 maakt deel uit van de volgende generaties AI-versnellers en blijft zich ontwikkelen. 3D-DRAM vertegenwoordigt een mogelijke richting voor toekomstige architecturen.
Wat belemmert momenteel de fabricage van direct op chips geplaatste DRAM?
De belangrijkste obstakels zijn temperatuur, de gevoeligheid van DRAM tijdens het fabricageproces, de precisie die vereist is voor hybrid bonding, fabricageprestaties en de afvoer van warmte bij gestapeld geheugen en logica.