Samsung werkt aan een ingrijpende evolutie van het HBM-geheugen voor kunstmatige intelligentie-accelerators. Deze ontwikkeling resulteert in zHBM, een architectuur die het geheugen verticaal boven de processor plaatst, de dataroutes verkort en de huidige 2,5D-verpakking vervangt. De fabrikant mikt op tot wel 230 % meer bandbreedte en ongeveer 70 % minder DRAM-verbruik in vergelijking met een conventionele HBM4E-configuratie, hoewel het hier nog gaat om doelstellingen die Samsung heeft gepresenteerd en niet om commerciële productprestaties.
De kernpunten van Samsung zHBM in 20 seconden
- Samsung stapt af van conventioneel HBM en ontwikkelt een driedimensionale architectuur genaamd zHBM.
- Het geheugen zou verticaal boven de xPU (zoals een GPU of AI-accelerator) geplaatst worden.
- Samsung voorziet tot 230 % meer bandbreedte en 70 % minder DRAM-verbruik.
- De ontwikkeling omvat meerdere tussenstappen, inclusief aangepaste en geavanceerde HBM-versies.
Samsung heeft deze aanpak toegelicht in een technische presentatie over de evolutie van de basis-die, het chipje aan de onderkant van de HBM-stapels. Het centrale idee is dat dit component minder beperkingen ondervindt op het gebied van communicatie, controle en testfuncties, en geleidelijk meer functies overneemt die momenteel in de processor zitten.
Deze veranderingen zijn noodzakelijk omdat het snel maken van de GPU niet meer effectief is als het geheugen niet in staat is de gegevens haarscherp te leveren.
Huidige HBM onder fysieke beperkingen
High Bandwidth Memory (HBM) werd oorspronkelijk ontwikkeld om het bandbreedteprobleem op te lossen. In plaats van traditionele DRAM-chips rondom de processor te plaatsen, wordt meerdere lagen geheugen gestapeld en verbonden via verticale TSV’s (Through-Silicon Via’s).
Een HBM-stapel bestaat uit twee hoofdonderdelen: de core-dies of C-die, die de DRAM-cellen bevatten, en het base-die of B-die eronder, dat de communicatie, controle en testfuncties beheert.
Deze stapel verbindt zich vervolgens met de GPU, TPU of een andere accelerator via een fysieke interface (PHY).
Samsung wijst erop dat deze PHY- en communicatiezones grote obstakels vormen voor verdere prestatietoename, aangezien ze veel ruimte innemen en energie verbruiken.
De technologische ontwikkeling laat zien dat het bandbreedtegeweld mee omhoog is gestuwd: Samsung geeft voor HBM4 circa 3 TB/s per stapel, voor HBM4E ongeveer 4 TB/s en voor een toekomstige HBM5 zelfs meer dan 6 TB/s. Deze aantallen zijn nog doelen voor toekomstige ontwikkelversies en niet definitieve product specificaties.
Het verder verhogen van dataconnecties, pin-snelheden en TSV-aantallen wordt echter steeds moeilijker, mede doordat AI-toepassingen niet alleen vragen om grotere modellen, maar ook langere contexten en gelijktijdig gebruik door meerdere gebruikers. Dit vergroot de behoefte aan enorme KV-cache, een tijdelijke geheugenbuffer tijdens inferentie die tokens van eerder verwerkte gegevens bewaart.
Hierdoor ontstaat er druk op twee belangrijke factoren: capaciteit en bandbreedte.
Samsung wil het basisgeheugen van HBM meer actief maken
Samsung’s strategie bestaat uit drie grote fasen.
De eerste fase richt zich op het verminderen van de oppervlakte van de traditionele fysieke interface.
In de zogenaamde custom HBM (cHBM) vervangt Samsung een deel van de standaard PHY door directe die-to-die (D2D) verbindingen. Door de lengte van deze verbindingen te verkorten, hoopt de fabrikant het energieverbruik te reduceren en ruimte vrij te maken die de accelerator kan benutten.
Samsung schat dat deze herstructurering ongeveer 5 % tot 10 % van het oppervlak van de xPU kan vrijmaken, met een prestatieverbetering van tussen de 10 % en 20 %, afhankelijk van het ontwerp. Dit zijn richtlijnen van Samsung en geen universeel toepasbare resultaten.
De nabijheid van componenten brengt echter ook thermische uitdagingen met zich mee.
Om deze aan te pakken, introduceert Samsung zijn Heat Path Block (HPB)-technologie, bedoeld om betere warmteafvoerroutes te creëren. Volgens de gegevens van Samsung kan dit de maximale temperatuur op bepaalde zones van de interface met meer dan 35 % verminderen.
Een volgende stap is nog ambitieuzer: het verplaatsen van sommige functies van de GPU naar het basischip van het geheugen.
Een voorbeeld hiervan is de geheugencontroller. Daarnaast kunnen mechanismen voor reparatie via SRAM, geavanceerde telemetrie, RAS-functies (betrouwbaarheid, beschikbaarheid en onderhoudbaarheid), interne tests en controllers voor extra geheugen worden geïntegreerd.
Op die manier wordt het geheugen geen passief component naast de processor, maar een actief deelnemer in het systeem.
AHBM brengt gedeelten van het verwerkingsproces dichterbij het geheugen
De tweede fase voert deze gedachte verder door.
Samsung onderzoekt het integreren van bepaalde verwerkingselementen (Processing Elements) direct in het geheugen, wat leidt tot de zogenaamde Advanced HBM (AHBM).
De reden is dat het vervoeren van gegevens extreem energie-intensief is – een van de grote kosten in de moderne computing.
Hoewel een GPU heel snel mathematische bewerkingen kan uitvoeren, kost het veel energie om gegevens continu van geheugen naar rekenunits te verplaatsen en de resultaten terug te sturen.
Hoe dichter de verwerking bij de data kan plaatsvinden, des te minder dataverplaatsingen nodig zijn.
Dit betekent niet dat HBM de GPU vervangt. Het voorstel is om bepaalde functies naar het geheugen te verplaatsen wanneer dat de communicatie en het energieverbruik kan verminderen.
Samsung kijkt ook naar de mogelijkheid om het basischip uit te breiden met interfaces die verbinding maken met externe geheugenmodules. Dit is vooral interessant bij inference voor grote taalmodellen met lange contextvensters, waar de KV-cache honderden gigabytes kan verbruiken.
Alles leidt tot de derde fase van de ontwikkeling.
zHBM plaatsts het geheugen direct boven de processor
De huidige architectuur van AI-accelerators gebruikt meestal een 2,5D-verpakking.
Hierbij bevinden GPU en meerdere HBM-stapels zich dicht bij elkaar en worden zij verbonden via een interposer. Deze opstelling biedt aanzienlijk meer bandbreedte dan het gebruik van conventionele geheugenmodules buiten de behuizing, maar vereist dat gegevens nog steeds zijwaarts tussen componenten bewegen.
zHBM wil deze geometrie veranderen.
Samsung stelt voor om de geheugensets verticaal boven de xPU te plaatsen. Dit zou resulteren in een 3D-architectuur waarin verwerking en geheugen via korte verticale verbindingen verbonden zijn.
Zo kan de conventionele 2,5D-interposer worden overgeslagen en kunnen de ingang- en uitgangsverbindingen over een veel groter oppervlak verdeeld worden.
Voor dit concept onderzoekt Samsung technieken zoals Wafer-on-Wafer (WoW) en hybride assemblagetechnieken die hogere dichtheden aan verbindingen mogelijk maken.
De fabrikant streeft naar een communicatieverbruik van ongeveer 0,5 picojoule per bit.
Vergeleken met een conventionele HBM4E-configuratie voorspellen simulaties en schattingen dat zHBM een 230 % hogere DRAM-bandbreedte, circa 70 % lager geheugengebruik en tot 100 watt extra thermisch marge kan bieden, die in andere delen van het systeem benut kan worden.
Nogmaals, het gaat hier om technologische doelen die Samsung heeft gepresenteerd. zHBM staat nog voor technische uitdagingen op het gebied van fabricage, thermisch rendement, kosten, betrouwbaarheid en grootschalige productie.
Het geheugen wordt meer geïntegreerd met de processor
Het voorstel van Samsung maakt deel uit van een bredere verandering binnen de halfgeleiderindustrie.
Decennia lang was het relatief eenvoudig om processor en geheugen te onderscheiden: de ene berekend en de andere bewaart informatie.
AI-ontwikkelingen maken die scheiding steeds minder efficiënt.
Modellen vereisen enorme hoeveelheden gegevens te verplaatsen, en de energie die hiermee gemoeid is wordt een steeds grotere factor in het totale verbruik.
Daarom experimenteren fabrikanten met compute-near-memory, processing-in-memory, gepersonaliseerd geheugen en driedimensionale verpakking.
Samsung heeft het voordeel dat het tegelijkertijd actief is in de fabricage van DRAM, logische processen en geavanceerde verpakkingsmethoden.
zHBM probeert deze capaciteiten te combineren.
Het plaatsen van geheugen boven een processor die honderden watt kan verbruiken, biedt echter ook grote technische uitdagingen, zoals thermisch management dat de gegevensretentie van DRAM kan beïnvloeden, de behoefte aan meer refresh-cycli, en de complexiteit van koelsystemen.
Fabricage moet bovendien hoge rendementen halen; een defect kan bij verticale integratie meerdere dure chips raken.
Daarom is Samsung niet meteen van HBM4 naar zHBM overgestapt, maar zoekt het eerst naar custom HBM, voegt functies toe aan het basischip via AHBM en werkt toe naar een driedimensionale integratie met zHBM.
De technologische koers is duidelijk: het volgende grote sprong in AI-accelerators zal niet alleen afhangen van snellere GPU’s, maar ook van het feit dat gegevens veel dichter bij de plek van verwerking komen te liggen.
Veelgestelde vragen
Wat is Samsung zHBM?
zHBM is een door Samsung voorgestelde geheugenarchitectuur die HBM verticaal boven een xPU integreert, zoals een GPU of AI-accelerator. Het doel is communicatie te versnellen en het energieverbruik te verminderen door het geheugen direct op de processor te plaatsen.
Wat is het verschil tussen HBM4 en zHBM?
HBM4 behoudt een architectuur waarbij processor en geheugenstapels via geavanceerd pakketten verbonden zijn, terwijl zHBM een volledig driedimensionale integratie voorstaat, waarbij het geheugen direct boven de processor ligt.
Hoeveel prestatieverbetering biedt zHBM?
Samsung voorziet tot 230 % meer DRAM-bandbreedte en ongeveer 70 % minder energieverbruik in vergelijking met een conventionele HBM4E-configuratie. Deze cijfers blijven echter voorlopig doelen en geen definitieve specificaties.
Wanneer komt zHBM op de markt?
Er is geen concrete datum voor commerciële beschikbaarheid. Samsung plaatst zHBM in de derde fase van een opwaartse ontwikkeling die begint met custom HBM en zich vervolgens uitbreidt naar Advanced HBM.
bron: wccftech