Durante jarenlang stond de discussie over kunstmatige intelligentie (AI) in datacenters vooral stil bij de voor de hand liggende componenten: GPUs, accelerators, snellere netwerken en koelsystemen die rackinfrastructuren continu in bedrijf kunnen houden. Echter, in de daadwerkelijke economische analyse van het uitrollen van AI-systemen—gemeten aan energieverbruik, dichtheid per rack, downtime en hardwarevervanging—begint een ander element een belangrijke rol te spelen: het systeemgeheugen.
In dat kader heeft Samsung een nieuwe geheugenmodule geïntroduceerd: SOCAMM2. Dit module is gebaseerd op LPDDR5X-technologie en is specifiek ontworpen voor datacenterplatforms gericht op AI-toepassingen. De aanpak probeert de voordelen van de energie-efficiëntie en compactheid van LPDDR-geheugens naar servers te brengen, zonder daarbij de nadelen te ondervinden van de vaste, soldeergebonden opbouw die het onderhoud ingewikkeld maakt en upgrades beperkt.
Wat is SOCAMM2 en waarom is het relevant?
SOCAMM2 (Small Outline Compression Attached Memory Module) is in essentie een modulaire, uitwisselbare herinneringsoplossing die chips gebaseerd op LPDDR5X combineert in een formaat dat geschikt is voor servers. Het fundamentele idee is eenvoudig uit te leggen, maar het technische uitgewerkt krijgen vormt een grote uitdaging: het bringt de energie-efficiëntie en hoge energiedichtheid van geheugen dat oorspronkelijk voor mobiele apparaten bedoeld was, naar de datacenter-omgeving—zonder dat de update- en vervangingsmogelijkheden beperkt worden door vaste systemen.
Samsung beweert dat dit ontwerp het mogelijk maakt om hogere bandbreedtes te combineren met lager energieverbruik dan traditionele DDR5 RDIMM-modules, die momenteel de standaard vormen in gangbare servers. Het is niet de bedoeling om HBM-geheugen—dat gebruikt wordt voor GPU’s en accelerators bij training en inferentie—te vervangen, maar eerder een aanvullende laag te bieden: het geheugen dat zich dicht bij de CPU bevindt, waar efficiëntie per watt algebra wordt en het totale prestatiekostenplaatje wordt beïnvloed.
In de financiën van datacenters is elke watt een kostfactor: direct energieverbruik, koelsystemen en de beperking in dichtheid per rack. Het geheugen wordt steeds meer een kritische factor in AI-belastingen die 24/7 operationeel zijn. Hier ligt de economische rationale van modules als SOCAMM2: als meer data per watt kan worden verwerkt, daalt de operationele kost, worden de koelingsbehoeften verminderd en kan er meer rekenkracht binnen dezelfde fysieke ruimte worden geherstructureerd.
Samsung benadrukt dat geheugen niet langer secundair mag worden behandeld in een tijd waarin servers worden ingezet voor constante inferentie, zoals in chatbotdiensten, documentzusammenfassingen of real-time assistenten.
De historische uitdaging voor LPDDR in servers was de manier waarop het werd ontworpen: bij voorkeur als gesoldeerd, low-voltage geheugen, geschikt voor compacte mobiele telefoons en laptops, maar minder geschikt voor modulaire, snel toegankelijke serveromgevingen. SOCAMM2 probeert deze kloof te overbruggen door een modulair ‘compression-attached’ formaat te hanteren, dat de signaalintegriteit bewaart en gelijktijdig uitwisselbaarheid mogelijk maakt, vergelijkbaar met traditionele servergeheugenmodules zoals RDIMM.
Verder speelt standaardisatie een grote rol: het ecosysteem rondom SOCAMM2 en het gestandaardiseerde JEDEC JESD328-kader kunnen de adoptie op grote schaal versnellen. De voorkeur gaat uit naar vendor-agnostische, uitwisselbare modules die niet afhankelijk zijn van een enkele leverancier, wat de afhankelijkheid vermindert en een gezonde marktconcurrentie mogelijk maakt.
Naast Samsung beweegt ook Micron zich in deze richting. Het Amerikaanse bedrijf heeft meldingen gedaan van prototypes van SOCAMM2-compatibele modules tot 192 GB, gebaseerd op LPDDR5X, gericht op AI-inferentie. Dit vormt een belangrijke signalering: de markt voor modulaire, energie-efficiënte geheugenoplossingen voor AI in datacenters begint vorm te krijgen. Een bredere adoptie kan leiden tot nieuwe productlijnen, betere marges en contractsposities binnen deze niche.
Niet alle factoren zijn echter positief; de latentie van LPDDR5X is doorgaans hoger dan DDR5, wat in bepaalde toepassingen een nadeel kan zijn, hoewel voor AI workloads de bandbreedte en parallelisme vaak belangrijker zijn dan de kleinste latentie. Daarnaast zijn er technische uitdagingen zoals thermisch gedrag, systeembrede signaalintegriteit en kosteneffectiviteit. LPDDR5X heeft mogelijk hogere kosten dan DDR5 en de mechanische complexiteit van modules zoals SOCAMM2 mag niet worden onderschat. De toegevoegde waarde ligt vooral in de totale eigendomskosten: minder energieverbruik, minder koeling, hogere dichtheid en hergebruik van hardware.
Kortom, de evolutie in AI-gebaseerde datacenters vereist een herziening van lang aangehangen principes. Waar decennia lang de geheugentransitie zich beperkte tot evoluties binnen de bekende DIMM-architectuur, wordt nu een fundament gelegd voor een vernieuwde paradigma: geheugen “tokens per watt” en slimme schaalbaarheid. Ook al is SOCAMM2 geen spectaculaire nieuwe GPU of acceleratortechnologie, het vertegenwoordigt een belangrijke structurele verandering die de architectuur van racksystemen kan transformeren, mits de standaard zich waar maakt.
Dit betekent dat we mogelijk in de nabije toekomst een nieuwe categorie computergeheugen zullen zien: energie-efficiënt, modulair en specifiek voor AI-infrastructuur, klaar om de manier waarop datacenters worden ontworpen en operationeel beheerd, te herdefiniëren.