SK hynix werkt al aan technologieën die de geheugen HBM (High Bandwidth Memory) verder zullen brengen dan de huidige configuraties. Tijdens Hot Chips 2026 heeft het bedrijf oplossingen getoond zoals hybride bonding, nieuwe manieren om warmte af te voeren, meer TSV-verbindingen en toekomstige 3D-ontwerpen waarbij het geheugen direct boven AI-versnellers kan komen te liggen. Daarnaast heeft de fabrikant EMIB van Intel vermeld als een technologie voor 2.5D-verpakking die gebruikt kan worden voor het integreren van HBM.
De kernpunten voor de toekomst van HBM in 30 seconden
- SK hynix onderzoekt hybride bonding om de stapel van 16 lagen te overwinnen en de afstand tussen verbindingen te verkleinen.
- HBM4 bereikt meer dan 2 TB/s per stapel en verdubbelt zijn input/output-lijnen tot 2048 bits.
- Het bedrijf ontwikkelt I-HBM, een oplossing om warmte af te voeren van bijzonder hete punten.
- Ook overweegt men EMIB van Intel samen met verschillende varianten van CoWoS voor 2.5D-verpakkingen.
- Op de lange termijn onderzoekt SK hynix een 3D-integratie waarbij HBM direct boven de accelerators wordt geplaatst.
De presentatie verduidelijkt waarom geheugen een van de meest complexe componenten is geworden in AI-versnellers. Het verhogen van de GPU-prestaties is niet langer alleen een kwestie van meer rekenunits toevoegen. Het is noodzakelijk om data snel te kunnen leveren, wat betekent dat capaciteit, bandbreedte en het aantal verbindingen gelijktijdig moeten toenemen.
HBM heeft hierin vooruitgang geboekt door het verticale opstapelen van DRAM-chips. De verschillende lagen communiceren via TSV’s (Through-Silicon Via), verticale verbindingen door het siliciummateriaal. De geheugenstapel en de processor blijven doorgaans afzonderlijke chips die naast elkaar worden geplaatst op een interposer.
Echter, deze architectuur ondervindt fysieke beperkingen die steeds moeilijker op te lossen zijn met elke nieuwe generatie.
HBM4 brengt verpakken naar een nieuw niveau van complexiteit
SK hynix gebruikt HBM3E om de evolutie hiervan te demonstreren. In vergelijking met een referentieconfiguratie GDDR6 van 24 GB en 768 GB/s kunnen vier HBM3E-stapels tot 144 GB en circa 4 TB/s halen, terwijl ze ongeveer de helft van de ruimte innemen, aldus het bedrijf.
HBM4 stelt opnieuw hogere eisen.
De nieuwe generatie die SK hynix presenteert, heeft een 2.048-bits interface, vergeleken met de 1.024 bits van voorheen, en kan meer dan 2 TB/s bandbreedte per stapel bereiken. De documentatie toont chips met DRAM tot 24 Gb, configuraties met 12 lagen in productie en 16-laagse ontwerpen in certificering.
Een stapel kan daarnaast meer dan 20.000 TSV’s en 16.148 microbumps aan de onderkant bevatten, wat laat zien dat de prestaties van het geheugen sterk afhankelijk zijn van geavanceerde verpakkings- en assemblagetechnologieën.
Het toename in verbindingen brengt echter directe ruimtegebruik met zich mee.
Hoewel fabrikanten geleidelijk de grootte en afstand van TSV’s verkleinen, verhoogt een groter aantal verbindingen de benodigde oppervlakte. Een ander, nog complexer probleem voor AI-versnellers is warmteafvoer.
SK hynix berekent dat een evolutie waarbij de bandbreedte bijna wordt verdubbeld elke twee generaties, ongeveer 2,2 keer meer warmtebelasting op bestaande fabricage- en verpakkingstechnologieën kan veroorzaken.
Dit vormt een bijzonder delicate beperking, aangezien HBM-stapels zich dicht bij GPU’s bevinden die honderden watt kunnen verbruiken.
Hybride bonding als oplossing voor meer dan 16 lagen
Een antwoord van SK hynix is hybride bonding, een technologie die het mogelijk maakt om verschillende lagen te verbinden met veel kleinere verbindingen dan traditionele microbumps.
Momenteel worden twee hoofdmethoden toegepast in HBM-verpakkingen: TC+NCF (Thermo-Compression + Non-Conductive Film) en MR-MUF (Mass Reflow Molded Underfill).
Beide opties hebben voordelen en nadelen. TC+NCF biedt betere weerstand tegen chipdeformaties, maar heeft een hogere thermische weerstand en lagere productiviteit. MR-MUF verbetert de productie-efficiëntie en warmtegeleiding, maar kan problemen veroorzaken met vervorming en het opvullen van ruimtes tussen chips.
SK hynix gebruikt een evolutie van MR-MUF in zijn 16-laagse HBM3E-ontwerpen, maar beschouwt hybride bonding als een belangrijke technologie om het aantal lagen verder te verhogen.
De getoonde gegevens suggereren dat verbindingen met een stapmaat kleiner dan 18 micron mogelijk zijn. Deze technologie zou ook chips ongeveer 24% dikker mogelijk maken en, volgens hun eigen metingen, een tot 35% lagere thermische weerstand bieden, zelfs bij meer lagen.
Deze verbetering is cruciaal, omdat het ontdoen van chips van hun dunheid en het toevoegen van meer lagen binnen dezelfde fysieke hoogte de fabricage en handling bemoeilijkt.
De industrie zou hiermee kunnen evolueren van de huidige 12- en 16-laagsconfiguraties naar toekomstige stapels van 16 tot 20 lagen. SK hynix heeft echter geen vastgesteld tijdschema voor commerciële introductie van deze ontwerpen gepresenteerd.
I-HBM: warmte afvoeren vanaf de bron
Het Koreaanse bedrijf werkt ook aan een technologie genaamd I-HBM om hotspots binnen de geheugenmodules zelf te elimineren.
Het idee is een component met hoge thermische geleidbaarheid en elektrisch-isolerende eigenschappen toe te voegen in de PHY-communicatiezone tussen chips. Zo wordt een directe route gecreëerd om warmte weg te voeren van de heetste zones.
SK hynix schat dat deze techniek een extra vermindering van meer dan 30% in thermische weerstand kan bieden.
Het concept sluit aan bij andere industriële onderzoeken naar thermisch beheer van geheugen, waarbij de focus ligt op de geheugenmodule zelf in plaats van uitsluitend de koelsystemen boven GPU’s en modules.
Daarnaast onderzoekt het bedrijf het gebruik van toegewijde TSV’s voor stroomvoorziening, verspreid over verschillende zones van de chip. Het doel is de PDN (Power Delivery Network) te verbeteren, die de stroomtoevoer naar componenten regelt.
Het onderliggend probleem blijft hetzelfde: hoe meer bandbreedte er wordt aangeboden, des te meer verbindingen nodig zijn en hoe meer energie er verbruikt wordt om alles operationeel te houden.
EMIB van Intel en CoWoS in HBM-verpakkingen
Een ander opvallend punt uit de presentatie is de vermelding van EMIB (Embedded Multi-die Interconnect Bridge) van Intel als een technologie die SK hynix overweegt voor oplossingen in 2.5D.
EMIB gebruikt kleine siliconenbruggen die in het substraat worden geïntegreerd om chips te verbinden, waardoor de noodzaak van een grote siliconen interposer wordt voorkomen voor bepaalde configuraties.
De presentatie plaatst deze technologie naast CoWoS-S, CoWoS-R en CoWoS-L, verschillende varianten van het geavanceerde verpakkingssysteem ontwikkeld door TSMC.
Het gebruik van EMIB is technologisch relevant, maar moet niet worden opgevat als een bevestiging van een concreet commercieel pact tussen Intel en SK hynix voor de fabricage van toekomstige HBM-memorieën. De gepresenteerde informatie betreft vooral integratie- en verpakkingsinnovaties.
Er circuleren ook speculaties over mogelijke zakelijke deals tussen beide bedrijven op het gebied van geheugen, maar in de aangeleverde documenten wordt geen definitieve bevestiging gegeven voor een lopend project.
De volgende stap: HBM bovenop de accelerator?
Het meest interessante deel van de presentatie kijkt verder dan de huidige 2.5D-verpakking.
SK hynix onderzoekt 3D-architecturen waarin het HBM-geheugen direct boven de accelerators kan komen te liggen.
Momenteel is HBM al drie dimensionaal doordat de DRAM-chips verticaal gestapeld zijn. Toch wordt de volledige stapel nog altijd naast de GPU of XPU geplaatst.
De volgende stap zou zijn om geheugen en processor ook verticaal te integreren.
Het verkleinen van de fysieke afstand tussen beide kan kortere verbindingen mogelijk maken, het bandbreedtepotentieel vergroten en de energie die met dataverkeer gepaard gaat verminderen.
Dit is precies de richting waarin diverse halfgeleiderproducenten onderzoeken, vooral gezien de groeiende eisen van AI-modellen. De grote modellen en cache-geheugens vereisen meer capaciteit, terwijl de rekenunits sneller data moeten ontvangen.
Het grote obstakel hierbij is dat het plaatsen van geheugen boven een krachtige processor de afvoer van warmte aanzienlijk bemoeilijkt. Ook ontstaan er complicaties rondom stroomvoorziening, fabricage, defectreparatie en kosten van het encapsuleren.
Daarom moet de presentatie van SK hynix worden gezien als een toekomstvisie en geen directe aankondiging van een commerciële 3D-HBM.
De ontwikkeling van HBM4 en latere generaties zal steeds minder afhangen van het verbeteren van DRAM alleen. Verpakkingstechnologieën, verticale verbindingen, stroomvoorziening en vooral koeling worden bepalend voor de mate waarin de beschikbare bandbreedte voor AI-versnellers kan toenemen.
Veelgestelde vragen
Hoeveel bandbreedte kan HBM4 van SK hynix bereiken?
De gepresenteerde gegevens plaatsen HBM4 boven 2 TB/s per stapel, met een interface van 2.048 bits. De uiteindelijke prestatie hangt af van de specifieke configuratie.
Wat is hybrides bonding in HBM?
Het stelt het mogelijk om kleinere verbindingen tussen geheugenlagen te maken en kan de thermische eigenschappen verbeteren. SK hynix onderzoekt het als een technologie om verder te gaan dan de huidige stapels van maximaal 16 lagen.
Wat is I-HBM?
Het is een technologie die SK hynix onderzoekt om een specifieke warmteafvoerroute te creëren dicht bij hete zones van het geheugeninterface. Het bedrijf schat dat dit ontwerp een extra vermindering van meer dan 30% in thermische weerstand kan bieden.
Zal SK hynix gebruik maken van EMIB van Intel?
SK hynix toonde EMIB als een van de verpakkingsopties voor 2.5D, samen met verschillende varianten van CoWoS. De documentatie bevestigt echter niet automatisch een commercieel product dat gebaseerd is op EMIB.
vía: wccftech