High Bandwidth Flash: De Toekomst van AI-Acceleratie in Datacenters en Edge
De industrie voor kunstmatige intelligentie (AI) staat op het punt een revolutionaire sprong te maken op het gebied van geheugen. SanDisk heeft aangekondigd dat Raja Koduri, een gerenommeerde grafische architect bij Apple, AMD en Intel, is toegetreden tot zijn Technisch Adviesraad om High Bandwidth Flash (HBF™) te ontwikkelen. Deze nieuwe architectuur van flashgeheugen zou grafische kaarten met tot wel 4 TB VRAM mogelijk kunnen maken, wat een paradigmaschifting betekent voor AI-verwerking, zowel in datacenters als aan de rand (edge).
Wat is HBF en waarom is het belangrijk?
HBF is geen directe vervanger van de bestaande High Bandwidth Memory (HBM), maar een aanvulling die is ontworpen om capaciteit tegen lagere kosten te schalen, terwijl het een concurrerende bandbreedte behoudt. Volgens de officiële mededeling van SanDisk kan HBF tussen de 8 en 16 keer meer capaciteit bieden dan HBM, zonder dat de energiekosten of economische kosten explosief stijgen.
Om dit te bereiken maakt HBF gebruik van:
- 3D NAND BiCS flashgeheugen met directe CMOS to Array (CBA).
- 16 gestapelde geheugen-kernen via TSV’s (through-silicon vias).
- Een logische chip die gelijktijdig toegang kan krijgen tot subarrays van flash.
- Configuraties die zijn ontworpen om vervormingen in hooggelegen wafers te voorkomen.
Wat betekent dit voor AI?
Koduri legt het als volgt uit:
“De prestaties van AI-modellen zijn afhankelijk van drie factoren: rekencapaciteit (FLOPs), geheugencapaciteit (bytes) en bandbreedte (bytes/seconde). HBF verbetert de geheugencapaciteit op alle fronten: per euro, per watt en per vierkante millimeter.”
Deze architectuur is specifiek ontworpen voor inferentie-taken, waarbij GPU’s in real-time modellen verwerken die eerder zijn getraind, zoals in chatbots, computer vision, of edge-assistenten. Professor David Patterson, mede-oprichter van het RISC-ontwerp en winnaar van de Turing Award in 2017, voegt hieraan toe:
“HBF kan een cruciale rol spelen in datacenters voor AI, doordat het grootschalige inferentiebelastingen mogelijk maakt die voorheen ondenkbaar waren en bovendien kan het de kosten van nieuwe AI-toepassingen verlagen.”
HBF vergeleken met HBM en andere oplossingen
Hieronder vindt u een vergelijkingstabel van de meest geavanceerde geheugentechnologieën voor AI:
| Technologie | Maximale geschatte capaciteit | Bandbreedte | Verbruik | Type gebruik | Belangrijke fabrikanten |
|---|---|---|---|---|---|
| HBM3e | Tot 128 GB per GPU | ~1,2 TB/s | Hoog | Training van grote modellen | SK hynix, Micron, Samsung |
| GDDR6X | Tot 24–48 GB | ~1 TB/s | Gemiddeld | Gaming, lichte AI | Micron, NVIDIA |
| HBF | Tot 4 TB (en groeiend) | Hoog (niet bekend, maar concurrerend) | Laag tot gemiddeld | Inferentie, edge, grootschalige analyses | SanDisk |
En de software?
Koduri benadrukte ook dat de architectuur zal worden ontwikkeld met open standaarden, wat de adoptie door hardwarefabrikanten, ontwikkelaars van op maat gemaakte accelerators en AI-startups zou kunnen vergemakkelijken. HBF is bedoeld om geïntegreerd te worden in een tijdperk waarin AI-modellen niet alleen in de cloud worden getraind, maar ook aan de rand worden ingezet: in auto’s, mobiele telefoons, slimme fabrieken of zelfs XR-oordopjes.
Volgende stappen
Hoewel SanDisk nog geen exacte lanceringsdatum voor de eerste HBF-modules heeft aangekondigd, beschikt de onderneming over de technische infrastructuur van het bedrijf zelf en strategische partners in AI, en het is te verwachten dat het eerst in de professionele sector zal worden uitgerold.
Voor Raja Koduri betekent HBF een terugkeer naar een visie die gericht is op hoe geheugenarchitectuur nieuwe rekenparadigma’s mogelijk kan maken, zoals hij dat deed met Polaris, Vega en Arc tijdens zijn tijd bij AMD en Intel.
“HBF is klaar om AI aan de rand te revolutioneren door apparaten uit te rusten met geheugencapaciteiten die voorheen alleen in datacenters beschikbaar waren. Dit zal radical veranderen waar en hoe AI-inferentie plaatsvindt,” aldus Koduri.
Conclusie
De introductie van High Bandwidth Flash vertegenwoordigt een nieuwe grens in het ontwerp van architecturen voor kunstmatige intelligentie. Als het zijn beloftes waarmaakt, kan het de verhouding tussen kosten, capaciteit en prestaties bij inferentietaken veranderen, waardoor de meest geavanceerde modellen dichter bij de eindgebruiker kunnen worden uitgevoerd, van auto’s tot smartphones. In dit nieuwe tijdperk spelen Raja Koduri en David Patterson een sleutelrol.