Twee onderzoeks teams uit Zuid-Korea en Japan presenteren nieuwe benaderingen voor het integreren van geheugen in AI-accelerators. Hun voorstellen, genaamd V-Die en MOSAIC, plaatsen de DRAM-chips verticaal, steunend op één rand, in plaats van ze horizontaal te stapelen zoals bij high-bandwidth memory (HBM).
De kernpunten van V-Die en MOSAIC in 20 seconden
- Beide projecten plaatsen de DRAM-chips verticaal voor hogere capaciteit en betere warmteafvoer.
- V-Die combineert onderaansluitingen met vloeistofkoeling tussen chips.
- MOSAIC gebruikt inductieve koppeling zonder fysiek contact voor datatransmissie.
- Beide werken bevinden zich nog in experimentele fase en moeten nog hun kosten, betrouwbaarheid en industrieel rendement aantonen.
De onderzoeken werden in juni gepresenteerd tijdens het IEEE/JSAP Symposion on VLSI Technology and Circuits 2026. Hoewel ze onafhankelijk ontwikkeld zijn en verschillende verbindingsmethoden gebruiken, delen ze een idee: het voortdurende verhogen van de stapelhoogte van HBM brengt complexe problemen met zich mee die niet eenvoudig op te lossen zijn met traditionele architecturen.
HBM plaatst meerdere dynamische RAM-chips dicht bij de processor en verbindt ze via een zeer brede interface. Deze nabijheid maakt snelle gegevensoverdracht mogelijk met minder energieverbruik dan bij gescheiden modules op afstand van de GPU.
Dit systeem is geschikt voor trainen en uitvoeren van AI-modellen, die continu parameters, activaties en tijdelijke data lezen. Maar elke extra laag verhoogt de complexiteit: de warmte moet door het silicium en andere lagen naar de koelvoorziening worden afgevoerd.
Silicium-activiteiten, bekend als TSV (Through Silicon Vias), nemen ruimte op in de chip. Deze verticale metalen verbindingen transporteren data en energie, maar verminderen de beschikbare ruimte voor de DRAM-cellen. Een hogere stapel biedt meer capaciteit, maar vereist meer verbindingen en bemoeilijkt warmteafvoer.
V-Die elimineert verticale verbindingen door chips te draaien
V-Die bestaat uit een samenwerking tussen onderzoekers van het Ulsan National Institute of Science and Technology (UNIST), het Korea Advanced Institute of Science and Technology (KAIST) en de Hanbat National University.
Het ontwerp draait conventioneel vervaardigde DRAM-chips 90 graden en plaatst ze op een onderliggend substraat naast de processor. In plaats van TSV-verbindingen, krijgen de chips eigen in- en uitgangen aan de onderrand. Verbindingen met het substraat worden ongeveer elke 20 micrometer aangebracht.
Het verwijderen van verticale vias biedt meer oppervlak voor informatieopslag en voorkomt dat alle chips afhankelijk zijn van een gemeenschappelijke verbindingsmatrix door de stapel. Volgens de berekeningen van het team zou deze opstelling tot vier keer meer verbindingen mogelijk maken in vergelijking met HBM4 en de lezingijd met 37% verminderen. Deze resultaten zijn gebaseerd op simulaties, niet op metingen van een commercieel systeem.
Een andere belangrijke verandering betreft de koeling. V-Die laat ruimtes tussen de verticale chips voor kanalen waarin vloeistofkoeling kan circuleren. Hierdoor wordt de warmte afgevoerd via nabijgelegen oppervlakken, in plaats van alleen door warmte omhoog te laten stijgen door de structuur.
Simulaties wijzen uit dat de chip een temperatuur van circa 45°C bereikt, vergeleken met maxima boven de 80°C in dicht opeengepakte HBM-configuraties. Deze vergelijking hangt af van ontwerp van het omhulsel, energieverbruik en koeltechniek, en is dus niet direct te vertalen naar alle acceleratoren.
Het team simuleerde ook een configuratie met 16 chips, vergelijkbaar met hardware van NVIDIA H100 en belasting vergelijkbaar met GPT-3. V-Die behaalde 540 tokens per seconde, tegen 296 tokens/sec voor de referentie HBM4-setup met gelijke geheugencapaciteit.
De tijd tot de eerste token werd gegenereerd, nam af met 32%, wat neerkomt op ongeveer 24 milliseconden in de simulatie. Dit wijst erop dat een bredere interface inferentie kan versnellen, maar moet nog worden bevestigd met een fysiek prototype. Het team werkt aan een dergelijk apparaat om de elektrische en thermische eigenschappen te testen.
MOSAIC gebruikt inductieve draadloze verbindingen op microschaal
Het Japanse MOSAIC-project, ontwikkeld door onderzoekers van de Universiteit van Tokio, samen met Tohoku University en RIKEN, richt zich op een andere praktische uitdaging.
Wanneer vele chips verticaal worden gestapeld, kan een kleine variatie in dikte de verbindingspunten disteren. Een fout van enkele micrometers per chip kan zich opstapelen, waardoor signaalpinnen mogelijk niet goed aansluiten op de contactpunten op het substraat.
MOSAIC ontwijkt dit probleem door inductieve koppeling. Het systeem gebruikt kleine spoelen die tegenover elkaar liggen om gegevens over een microscopische ruimte te versturen, zonder directe metalen verbindingen. Een stroom in een spoel creëert een magnetisch veld dat een overeenkomstige signaal induceert in de andere spoel.
Deze verbindingen tolereren meer verschuiving omdat ze niet precies hoeven te overlappen zoals bij fysiek contact. De voedingsaansluiting blijft wel conventioneel en bevindt zich aan de zijkanten van de structuur.
Het gepresenteerde prototype behaalde tot 4 gigabit per seconde per kanaal. De onderzoekers menen dat een systeem met chips direct op een GPU de capaciteit kan verdubbelen ten opzichte van vergelijkbare HBM4-systemen zonder TSV. Het werk was genomineerd voor de prijs voor de beste studentenpaper op het congres.
Een mogelijke opstelling bevatte 98 chips, met in totaal 294 GB geheugen. De verticale plaatsing laat grote vierkante oppervlakken vrij voor warmteafvoer en maakt koeling eenvoudiger, al ontbreken de vloeistofkanalen zoals bij V-Die.
Daarnaast ontwikkelden ze een variant met fysieke microverbindingen, die een uitlijning onder zes micrometer haalden en een thermische geleidbaarheid tot drie keer hoger dan een conventionele stapel bereikten, met een capaciteitsverhoging tot 30% in de geteste configuraties. Deze resultaten betreffen een andere demonstratie van de inductieve interface en mogen niet worden verward met de resultaten uit het VLSI-symposium of een volledig prototype.
Twee veelbelovende innovatiepaden, maar nog ver verwijderd van massaproductie
V-Die en MOSAIC benaderen hetzelfde probleem vanuit verschillende invalshoeken. Het Zuid-Koreaanse project richt zich op bandbreedte, verbindingsdichtheid en vloeistofkoeling. Het Japanse project probeert grote verticale stapels zonder perfecte uitlijning mogelijk te maken.
Geen van beide is klaar voor commerciële toepassing. V-Die blijft voorlopig vooral op simulaties gebaseerd en moet nog bewijzen dat warmtekanalen, onderaansluitingen en signaalpaden in een echt omhulsel functioneren.
MOSAIC heeft hardware-ervaring, maar moet aantonen dat inductieve koppeling op grote schaal werkt zonder dat het te veel ruimte of energie kost. Ook de fabricage-efficiëntie, kosten, het herstel van defecte verbindingen en betrouwbaarheid bij langdurig gebruik moeten nog worden bevestigd.
De geheugenindustrie blijft zich richten op de conventionele HBM-structuur, met meer lagen, nieuwe basischips en verbeterde materialen voor verbindingen en koeling. Academische innovaties laten zien dat het toevoegen van hoogte niet langer de enige manier is om capaciteit en bandbreedte te vergroten.
Lateral positioning biedt meer oppervlak voor warmteafvoer en herbekijkt de connectie tussen geheugen en processor. De toekomst zal minder afhangen van simulatiecijfers en meer van het vermogen om massaal te produceren met hoge rendementen en betaalbare kosten.
Veelgestelde vragen
Hoe verschilt V-Die van HBM-geheugen?
HBM stapelt meerdere DRAM-chips horizontaal en verbindt ze via vias door het silicium. V-Die plaatste de chips verticaal, elimineert die vias en gebruikt onderaansluitingen en vloeistofkoelkanalen.
Wat is MOSAIC voor AI-geheugen?
MOSAIC is een architectuur die DRAM-chips loodrecht op de GPU plaatst. De interface gebruikt kleine spoelen die via inductieve koppeling data verzenden zonder metalen contactpunten.
Is V-Die echt 540 tokens per seconde snel?
Deze waarde is gebaseerd op een simulatie met 16 chips, vergelijkbare hardware als de NVIDIA H100, en een belasting gelijk aan GPT-3. Het is nog niet bevestigd op een commercieel acceleratorsysteem of volledig prototype.
Wanneer komen deze geheugenstechnologieën op de markt?
Er is geen officiële datum bekend. Beide technologieën moeten nog bewezen worden op het gebied van fabricage, kosten, energieverbruik, prestaties, koeling en betrouwbaarheid voordat ze met HBM kunnen concurreren.