Samsung Electronics versterkt zijn koelingstechnologieën voor HBM-geheugen terwijl AI-apparaten steeds meer geheugen en logica in kleinere pakketten integreren. Het bedrijf ontwikkelt thermische structuren binnen de behuizing zelf, terwijl TSMC haar geavanceerde CoWoS-verpakkingen uitbreidt om de groei in AI-versnellers bij te houden.
De kernpunten over Samsung en HBM-koeling in 30 seconden
- Samsung ontwikkelde de Heat Path Block (HPB) om warmte af te voeren uit bijzonder hete zones van HBM.
- Het belangrijkste punt ligt in de D2D PHY-interface die geheugen verbindt met de AI-processor.
- Samsung valideert HPB momenteel in HBM4E en plant deze technologie in toekomstige generaties zoals HBM5 te integreren.
- TSMC breidt CoWoS-verpakkingen uit om meer logica en geheugen in één pakket te integreren.
- Een hogere dichtheid maakt koeling een ontwerpkwestie van het pakket zelf, niet alleen het systeem.
De strijd om de prestaties van AI-versnellers te verbeteren leidt tot een parallel probleem: het verwijderen van de warmte die binnen geavanceerde pakketten ontstaat wordt steeds moeilijker. HBM (High Bandwidth Memory) brengt meerdere DRAM-lagen samen met AI-processors, waardoor enorme hoeveelheden data versleept kunnen worden, maar de toenemende snelheid en dichtheid verhogen ook de thermische belasting.
Samsung pakt dit probleem aan door binnenin het geheugen zelf een van de meest problematische punten te verbeteren. De Heat Path Block (HPB)-technologie creëert een speciale thermische route om de warmte weg te leiden van de fysische communicatie-laag tussen geheugen en processor.
Deze architectuur toonde Samsung tijdens COMPUTEX 2026, samen met een ontwerp van HBM4E en een prototype van HBM5. Samsung benadrukte dat de D2D PHY-zone (Die-to-Die Physical Layer) van de base die een van de grootste warmtegenererende gebieden is.
Warmte concentreert zich op de verbinding tussen HBM en GPU
De oorzaak ligt in de constructie van HBM. De geheugenchips worden verticaal gestapeld en via hoge-snelheidsinterconnects verbonden. Bij AI-systemen bevindt dat geheugen zich dicht bij GPU’s, versnellingskaarten of ASIC’s in een geavanceerd pakket.
Naarmate de bandbreedte toeneemt, groeit ook de activiteit van de verbindingen tussen HBM en de processor. Dit gebied wordt snel een thermisch knelpunt dat moeilijk te koelen is met conventionele oplossingen, vooral omdat het zich binnen in het pakket bevindt.
Samsung wil dit probleem gedeeltelijk oplossen door de warmte via een speciale route af te voeren. Het HPB is ontworpen om de thermische weerstand rondom de D2D PHY-zone te verminderen en de warmte naar een structuur te leiden die het kan afvoeren.
In 2026 toonde Samsung voorbeelden en demonstraties van deze technologie. Tijdens COMPUTEX stelde het dat HPB gevalideerd wordt in HBM4E en dat het in toekomstige HBM5-generaties gebruikt gaat worden.
Samsung ontwikkelt ook HBM4E met een base die vervaardigd via haar 4-nanometerproces. De nieuwe generatie kan snelheden tot 14 Gbps per pin halen, met de mogelijkheid om door te schalen tot 16 Gbps en in bepaalde configuraties meer dan 4 TB/s aan bandbreedte per pakket te bereiken.
Het verhogen van de snelheid is geen geïsoleerd detail. Meer bandwidth in een beperkt fysiek formaat beïnvloedt het thermisch ontwerp van het geheugen zelf, omdat hoge snelheden en dichtheden veel warmte genereren die afgevoerd moet worden.
Samsung en SK hynix zoeken oplossingen binnen HBM
Samsung is niet de enige die dit probleem aanpakt. SK hynix presenteerde haar eigen aanpak voor de komende generaties HBM middels iHBM, een architectuur met geïntegreerde koelingsuitgangs-elementen dicht bij de fysieke interface.
Beide bedrijven richten zich op hetzelfde probleem, zij het met verschillende architecturen. Samsung gebruikt HPB als thermisch kanaal binnen het HBM-ontwerp, terwijl SK hynix vloeistofgekoelde elementen rond de D2D-zone integreert.
Deze concurrentie is vooral belangrijk omdat HBM5 ontworpen wordt voor AI-systemen die nog hogere bandbreedtes en dichtheden vereisen. Hoe meer lagen en hoe sneller de werking, hoe complexer het wordt om de interne warmte af te voeren.
Samsung onderzoekt ook diepere architecturale wijzigingen, zoals het concept zHBM, een driedimensionale geheugentechnologie die de geheugenlade nog dichter bij de processor wil brengen door gebruik te maken van geavanceerde bonding-technologieën.
Samsung beweert dat haar zHBM-architectuur de thermische weerstand met meer dan de helft zou kunnen verminderen ten opzichte van HBM5, onder de verwachte omstandigheden. Dit is een toekomsttechnologie die momenteel nog niet in HBM4-producten aanwezig is.
TSMC breidt de afmetingen van CoWoS-pakketten uit
Aan de andere kant staat de geavanceerde pakkettechnologie. TSMC gebruikt CoWoS (Chip on Wafer on Substrate) om processoren en HBM-geheugen in grote pakketten te integreren.
De groei van AI-modellen zorgt voor meer vraag naar geheugen en logica in één pakket, wat de oppervlakte en de warmteafvoer aanzienlijk vergroot.
TSMC ontwikkelde verschillende varianten van CoWoS om deze evolutie bij te houden. CoWoS-L combineert een redistributie-interposer met siliciuminterconnects en is gericht op grootschalige HPC-producten.
Volgens TSMC wordt de nieuwste generatie CoWoS-technologie ingezet om meer logica en geheugen HBM te integreren. Ze geven aan dat CoWoS-L in massaproductie is en dat grotere varianten geschikt zijn voor nog grotere interposers en complexere systemen.
Het vergroten van de capaciteit is essentieel, omdat CoWoS een van de belangrijkste schakels is in de fabricageketen van AI-versnellers. Een geavanceerde GPU met voldoende HBM en een high-end ontwerp heeft een pakket nodig dat al deze componenten kan bevatten.
Koeling wordt onderdeel van het chipontwerp
Jarenlang ging de koeling van servers vooral over externe oplossingen zoals koelers, ventilatoren, vloeistofkoeling en watercircuits.
Met de grote AI-pakketten verschuift een deel van het probleem naar binnenin het eigen encapsulatiepakket.
De processor, HBM, interposer en interconnects vormen samen een systeem waarbij thermische beslissingen gekoppeld zijn aan elektrische en mechanische aspecten. Te veel warmte kan de maximale werksnelheid beperken of externe koelsystemen vereisen.
Samsung werkt daarom aan structuren zoals HPB, terwijl TSMC haar CoWoS-technologie verder uitbreidt. Beide benaderingen zijn verschillende oplossingen voor hetzelfde probleem: AI-versnellers groeien sneller dan de mogelijkheid om de warmte uit hun pakketten te verwijderen.
De situatie wordt ernstiger in de toekomst, wanneer nieuwe generaties meer lagen HBM, hogere bandbreedtes en krachtigere processors vereisen. Alleen het verbeteren van serverkoeling zal dan niet meer voldoende zijn; integratie in het chip- en pakketontwerp wordt noodzakelijk.
Voor Samsung biedt dit een kans om zich te onderscheiden met toekomstige HBM-generaties. Met controle over geheugen, logica en verpakkingsinnovaties kan het bedrijf deze elementen in een samenhangend systeem ontwikkelen.
TSMC versterkt haar geavanceerde verpakkingscapaciteiten via uitbreiding van CoWoS en haar 3DFabric-technologieën. Dit speelt in op de vraag naar het integreren van meer componenten in één pakket, los van alleen transistorontwikkeling.
De nieuwe chipstrijd vindt dus grotendeels plaats binnenin de pakketten zelf: meer geheugen en rekencapaciteit vragen om betere verbindingen, meer samengevoegde functionaliteit en efficiënter warmtebeheer voordat prestaties beïnvloed worden.
Veelgestelde vragen
Wat is het Heat Path Block van Samsung?
Het Heat Path Block (HPB) is een thermische technologie ontwikkeld door Samsung om een specifieke warmteafvoerroute te creëren binnen HBM-structuren. Samsung valideert HPB momenteel in HBM4E en plant de toepassing in toekomstige generaties zoals HBM5.
Waarom genereert HBM zoveel warmte?
De toename in bandbreedte en communicatie-snelheid verhoogt de activiteit en het stroomverbruik in de verbindingen tussen geheugen en processor. De D2D PHY-zone wordt door Samsung als bijzonder problematisch beschouwd vanwege de hoge warmteproductie daar.
Wat is de relatie tussen TSMC en HBM?
TSMC produceert HBM en processoren via geavanceerde verpakkingsmethodes zoals CoWoS. De toenemende complexiteit van AI-versnellers vraagt om verdere uitbreiding en evolutie van deze technologieën.
Gebruikt Samsung HPB al in HBM5?
Samsung heeft prototypes getoond en verklaarde dat HPB momenteel gevalideerd wordt in HBM4E met plannen voor verder gebruik in toekomstige HBM5-generaties. Het is geen massale productie, maar een ontwikkelingstraject.