Nieuwe doorbraak in AI-geheugen: d-Matrix belooft 10x snellere prestaties dan HBM
De startup d-Matrix heeft ambitieuze claims gedaan met betrekking tot hun innovatieve technologie, die tot 10 keer sneller en efficiënter zou moeten zijn dan High Bandwidth Memory (HBM) voor inferentie-loads. Dit zou een paradigmaverschuiving kunnen betekenen in de relatie tussen rekenkracht en geheugen.
De huidige staat van HBM
High Bandwidth Memory (HBM) is inmiddels de facto standaard geworden in de wereld van kunstmatige intelligentie (AI) en high-performance computing. Bedrijven zoals NVIDIA, AMD en Intel maken gebruik van deze technologie, die via gestapelde modules ongekende bandbreedtes biedt. Maar volgens d-Matrix is HBM niet de definitieve oplossing voor alle taken.
Van training naar inferentie: een ander soort uitdaging
Terwijl HBM cruciaal is voor het trainen van AI-modellen, waar enorme hoeveelheden geheugen en bandbreedte vereist zijn, zijn de behoeften voor inferentie – de fase waarin getrainde modellen in real-time gegevens verwerken – heel anders. Sid Sheth, oprichter en CEO van d-Matrix, geeft aan dat inferentie “gekneld wordt door het geheugen” in plaats van door brute rekencapaciteit. Met steeds kostbaarder en energie-intensieve traditionele HBM-systemen, stelt d-Matrix voor om de rekenkracht dichter bij het geheugen te brengen en operaties daar uit te voeren.
Werking van 3D Digital In-Memory Compute (3DIMC)
In de laboratorium getest chip Pavehawk, combineert d-Matrix LPDDR5-geheugen met gestapelde DIMC-chiplets in 3D via een interposer. Deze chiplets hebben gespecialiseerde logica voor matrix-vectorvermenigvuldigingen, een veelvoorkomende operatie in op transformatoren gebaseerde AI-modellen. Het innovatief concept van het uitvoeren van berekeningen binnen het geheugen vermindert de latentie drastisch en verhoogt de energie-efficiëntie, tot wel 90% ten opzichte van HBM.
Economische en strategische implicaties
HBM is momenteel een beperkt en duur product. Slechts drie fabrikanten zijn de marktleiders: SK hynix, Samsung en Micron. Verwacht wordt dat de kosten blijven stijgen, met een jaarlijkse groei van 30% in de HBM-markt tot 2030. Binnen deze context biedt 3DIMC een aantrekkelijke oplossing. Een gespecialiseerd ontwerp voor inferentie kan kosten verlagen en bedrijven van hun afhankelijkheid van enkele leveranciers bevrijden. Desondanks waarschuwen sommige analisten dat deze specialisatie risicovol kan zijn in een sector die gekenmerkt wordt door overinvestering.
Revolutie of niche?
De aanpak van d-Matrix past binnen een bredere trend: het ontwikkelen van specifieke hardware voor elke fase van de AI-levenscyclus. De vraag of hyperscalers zoals Google, Microsoft en Amazon de moeite waard vinden om een parallel ecosysteem van geheugens voor inferentie te integreren, zal in de komende jaren beantwoord worden. Voor nu probeert d-Matrix te bewijzen dat hun technologie niet slechts een laboratoriumprototype is, maar een levensvatbaar alternatief op de markt.
Veelgestelde vragen (FAQ)
Wat onderscheidt 3DIMC van HBM?
Terwijl HBM zich beperkt tot snel gegevens verplaatsen tussen geheugen en processor, voert 3DIMC berekeningen binnen het geheugen uit, wat de noodzaak voor gegevensverplaatsing vermindert.
Is 3DIMC een directe vervanger voor HBM?
Niet in alle gevallen. Het is specifiek gericht op AI-inferenties en niet op het trainen van modellen.
Wat zijn de economische voordelen van 3DIMC?
Het kan de afhankelijkheid van grote HBM-fabrikanten verminderen en de infrastructuurkosten verlagen, vooral voor datacentra die grote hoeveelheden inferentie verwerken.
Wanneer is 3DIMC commercieel beschikbaar?
Momenteel functioneert alleen de Pavehawk in laboratoria. De volgende chip, Raptor, moet de echte validatie ten opzichte van HBM in de komende jaren behalen.
Deze technologische innovatie van d-Matrix zou zelfs een game-changer kunnen zijn in de wereld van AI en datacenters, waar efficiëntie en snelheid van cruciaal belang zijn.