Het geheugen begint even belangrijk te worden als de rekenkracht bij het uitvoeren van kunstmatige intelligentie (AI) modellen op een computer. Gecombineerd geheugen, open modellen en nieuwe inferentiemotoren breiden de mogelijkheden uit voor zowel thuisgebruikers als professionals, tot het punt dat meerdere machines samen kunnen werken om modellen te draaien die te groot zijn voor een enkele pc. Echter, meer geheugen alleen garandeert niet automatisch hogere snelheid: ook bandbreedte, architectuur van de processor en software-optimisatie spelen een cruciale rol.
De kernprincipes van lokale AI in 20 seconden
- Gecombineerd geheugen maakt het mogelijk om fysiek geheugen te delen tussen CPU en GPU.
- Open modellen, zoals Qwen, kunnen lokaal worden uitgevoerd met compatibele tools.
- AMD heeft een test gedocumenteerd met vier systemen van 128 GB geheugen voor het draaien van Kimi K2.5.
- ArcLight streeft naar verbetering van inferentie op multi-core processors.
- Lokale uitvoering vermindert afhankelijkheid van externe diensten, maar vereist wel dat het model is afgestemd op de beschikbare hardware.
De ontwikkeling komt voort uit een veelvoorkomende technische beperking: grote taalmodellen vereisen geheugen voor het opslaan van parameters en het behouden van context tijdens gesprekken. Wanneer een model groter is dan het beschikbare grafische geheugen, moet het systeem andere oplossingen gebruiken, zoals verdeling tussen CPU en GPU, gekwantiseerde modellen of het spreiden van inferentie over meerdere systemen.
In dat scenario biedt gedeeld geheugen een alternatief voor systemen die afhankelijk zijn van een grafische kaart met dedicated VRAM. De effectiviteit hangt echter af van het platform en hoe goed de software de beschikbare bronnen benut.
Gedeeld geheugen: meer capaciteit, maar niet altijd meer snelheid
Bij een architectuur met gedeeld geheugen kunnen verschillende verwerkingsunits toegang krijgen tot hetzelfde fysiek geheugen. Dit voorkomt dat er kopieën moeten worden aangemaakt in het systeem- en grafisch geheugen, hoewel het daadwerkelijke gedrag afhangt van de implementatie.
Bij traditionele systemen zijn RAM en VRAM van een dedicated GPU aparte bronnen. Kan een model niet in de GPU-geheugen passen, dan kan het systeem de onderdelen verdelen over verschillende geheugenbronnen, wat het prestatieverlies kan veroorzaken. Toegang tot RAM via de CPU biedt niet dezelfde snelheid als direct werken met GPU-geheugen.
Gedeeld geheugen stelt systemen met geïntegreerde GPU in staat een substantieel deel van het systeemgeheugen voor AI-taken te gebruiken. Zo kunnen grotere modellen draaien zonder een aparte grafische kaart met veel VRAM.
Maar capaciteit is niet alles. De geheugensnelheid, het aantal kanalen, GPU-architectuur en het prestatieniveau van de cores bepalen de snelheid waarmee tokens worden gegenereerd. Ook de grootte van de context is van invloed, aangezien de benodigde geheugenruimte voor lange gesprekken aanzienlijk kan toenemen.
Vergelijk daarom niet simpelweg twee computers op basis van RAM-grootte. Een systeem met veel geheugen kan een groter model laden, maar hoeft niet per se sneller te reageren. Daarnaast verminderen achtergrondprocessen en andere toepassingen het daadwerkelijk beschikbare geheugen voor inferentie.
AMD bewijst dat meerdere pc’s een groot model kunnen draaien
Een opvallend technisch voorbeeld komt van AMD. Op 25 februari 2026 publiceerde het bedrijf een document over hoe een klein inference-cluster te bouwen met vier systemen van het Framework Desktop type, uitgerust met AMD Ryzen AI Max+ 395-processors en 128 GB geheugen per stuk.
De test gebruikte Ubuntu 24.04.3 LTS, ROCm en een versie van llama.cpp met ondersteuning voor communicatie tussen machines via RPC. Het gekozen model was Kimi K2.5 van Moonshot AI, met een getailleerd gekwantiseerd formaat van ongeveer 375 GB.
De configuratie verdeelde de taak over de vier systemen via een 5 Gbps ethernetverbinding. Het doel was om de systemen als één logische versneller te gebruiken voor het uitvoeren van een model met ongeveer een biljoen parameters.
De test toont aan dat een model dat niet op één enkel systeem past, toch kan worden uitgevoerd via een gedistribueerde architectuur. Het betekent niet dat een enkele computer met 128 GB RAM dat zonder meer kan, of dat vier dergelijke systemen gelijkstaan aan een professionele high-end GPU.
Deze aanpak vereist specifieke afstellingen in geheugenbeheer, stuurprogramma’s en software. AMD legt uit hoe de GPU-geheugen groter kan worden gemaakt met Linux-systeemparameters. Het betreft een technische demonstratie van de fabrikant, geen onafhankelijke vergelijking die prestaties universeel kan extrapoleren.
Voor ontwikkelaars en onderzoeksteams biedt dit soort opstellingen de mogelijkheid om grote modellen te experimenteren zonder afhankelijk te zijn van dure GPU-infrastructuur. Het brengt echter ook nieuwe uitdagingen met zich mee: communicatie tussen knooppunten, energieverbruik, netwerkinstellingen en de complexiteit van het beheer van meerdere systemen.
Inferentiemotoren en open modellen: ook belangrijk
Hardware vormt slechts een onderdeel van de totale oplossing. De voortgang in inferentiemotoren zorgt dat systemen met gewone processors en gedeeld geheugen beter kunnen worden benut.
Een voorbeeld hiervan is ArcLight op GitHub, een inferentiemotor in C en C++ gericht op systemen met gedeeld geheugen en veelkernprocessors. Versie 1.0 bevat optimalisaties voor multi-node (NUMA) platformen, waarbij latentie afhankelijk is van de dataplacering ten opzichte van de cores.
ArcLight beweert tot 50% meer generatieprestaties te kunnen bereiken dan llama.cpp met hetzelfde aantal cores, en in sommige systemen zelfs te verdubbelen. Deze cijfers komen uit rapportages van de ontwikkelaars en zijn geen garantie voor alle hardware of modellen.
Het project ondersteunt GGUF-formaat (populair gemaakt door llama.cpp) en is compatibel met ARM- en x86-processors. Documentatie raadt aan te starten met kleinere modellen zoals Qwen3-4B voor testdoeleinden. Het ontwikkelproces is nog gaande, met verbetering op het gebied van modeldekking en systeoptimisaties.
Daarnaast maakt de openheid van modellen het mogelijk dat gebruikers kiezen voor de juiste grootte en formaten voor hun hardware. Het officiële Qwen3-repository bevat instructies voor lokaal uitvoeren via llama.cpp en LM Studio, inclusief documentatie voor grootschalige inference-uitrol.
Quantisering speelt hier ook een belangrijke rol: deze techniek reduceert de precisie van modelparameters, waardoor minder geheugen wordt gebruikt. Dit maakt het mogelijk om grotere modellen op hetzelfde hardware te draaien, afhankelijk van de gebruikte methode en de effecten op kwaliteit en snelheid.
Een andere aanpak is het spreiden van een model over meerdere computers. In een studie op arXiv uit augustus 2026 – getiteld Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets – wordt een architectuur beschreven die een model opdeelt in stappen en uitrust met meerdere Intel-systemen.
De auteurs beschreven dat twee systemen een gequantiseerd Llama 3.1 8B-model (INT4) konden draaien met twee gelijktijdige gebruikers, met een totale prestatie die 1,79 keer hoger lag dan bij een enkel systeem. Ze geven ook voorbeelden met vier systemen die een model van 70 miljard parameters kunnen uitvoeren op een snelheid die volgens hen nog voldoende interactief is. Dit zijn experimentele resultaten voor een specifieke architectuur en vormen geen garantie voor prestaties in alle thuisnetwerken.
Wat betekent het voor ontwikkelaars en bedrijven?
De combinatie van groot geheugen, open modellen en geoptimaliseerde motoren opent nieuwe opties voor het uitvoeren van AI-werk zonder alle vragen naar externe providers te sturen. Dit is vooral relevant bij softwareontwikkeling, documentanalyse of testen met modellen die gevoelige data bevatten.
Lokale uitvoering maakt het ook mogelijk om offline te werken, zolang het model en de benodigde tools geïnstalleerd zijn. Privacyrisico’s worden niet volledig weggenomen: lokale software kan telemetry verzenden of verbinding maken met externe diensten als dat zo is ingesteld. Het is dus belangrijk elke toepassing te controleren.
Bij het kiezen van hardware moeten geheugen, bandbreedte, CPU- en GPU-prestaties, inferentiemotorondersteuning en modelgrootte worden afgewogen. Ook moet je rekening houden met de benodigde geheugenruimte voor de context en meervoudige sessies.
De trend wijst niet op een vereiste voor iedereen om een systeem met 128 GB of een thuiscluster te bezitten. Kleinere, gekwantiseerde modellen kunnen veel taken al afhandelen met veel modestere specificaties. Systemen met veel geheugen of meerdere knooppunten maken vooral zin wanneer het model, de context of de experimenteervereisten dat rechtvaardigen qua kost en complexiteit.
Veelgestelde vragen
Wat zijn de voordelen van gedeeld geheugen voor AI-modellen?
Het maakt dat CPU en GPU geheugen fysiek kunnen delen, waardoor het mogelijk wordt grote modellen te laden die anders niet in het GPU-geheugen passen. De uiteindelijke prestaties hangen ook af van bandbreedte en hardware-architectuur.
Kan Kimi K2.5 draaien op een gewone thuiscomputer?
De AMD-demo gebruikt vier systemen met 128 GB geheugen en een specifieke software- en netwerkinrichting. Het betekent niet dat hetzelfde model op hetzelfde niveau kan draaien op één enkele thuiscomputer zonder extra hardware.
Wat is ArcLight en waarvoor dient het?
ArcLight is een open source inferentiemotor gericht op systemen met gedeeld geheugen en vele kernen. Het belooft performanceverbeteringen te bieden ten opzichte van llama.cpp in bepaalde configuraties, afhankelijk van hardware en model.
Wat heb ik nodig om Qwen lokaal uit te voeren?
Dit hangt af van het model en de hardware van je computer. De officiële documentatie van Qwen3 biedt instructies voor gebruik met tools zoals llama.cpp en LM Studio, en voor bredere deployments.