NVIDIA heeft als open-source project Personal AI Router (PAIR) gepubliceerd, een systeem dat het mogelijk maakt meerdere computers binnen een lokaal netwerk te koppelen en onafhankelijke inferentieaanvragen voor kunstmatige intelligentie te verdelen over die machines. Het vergelijken met een klein “Kubernetes voor thuis-AI” helpt de basis te begrijpen, hoewel er een belangrijk limiet is: PAIR voegt geen GPU-geheugen samen, deelt geen modellen tussen meerdere systemen en converteert geen meerdere grafische kaarten in één virtuele GPU.
De kernpunten van NVIDIA PAIR in 30 seconden
- PAIR verdeelt onafhankelijke inferentieaanvragen over computers die op hetzelfde lokale netwerk zijn aangesloten.
- Het project is open source onder de Apache 2.0-licentie en biedt installaties voor Windows, Linux en macOS.
- Het bevat endpoints die compatibel zijn met Ollama en OpenAI om grote wijzigingen in bestaande applicaties te voorkomen.
- Elke volledige aanvraag wordt op één enkele node uitgevoerd; PAIR voegt geen VRAM toe en splitst modellen niet tussen systemen.
- De huidige scheduler heeft beperkingen bij zeer heterogene hardware, iets dat NVIDIA erkent en wil verbeteren.
De officiële repository van NVIDIA werd eind augustus openbaar gemaakt en bevat inmiddels verpakte versies. De ontwikkelbranch toont PAIR 0.1.x, wat aangeeft dat het nog een jonge project is. Het concept adresseert echter een probleem dat steeds vaker voorkomt: ontwikkelaars die meerdere computers met AI-capaciteit willen gebruiken, maar deze apparaten willen beheren als afzonderlijke resources.
Een PC kan een dedicate GPU hebben. Een ander apparaat kan flink wat geheugen bezitten. Een laptop wordt soms niet gebruikt. Een Mac draait mogelijk een ander model.
PAIR probeert een uniforme laag te creëren bovenop deze verschillende systemen.
Hoe werkt PAIR en waarom voegt het geen GPU-capaciteit samen?
De architectuur is veel eenvoudiger dan de vergelijking met Kubernetes suggereert.
Elke computer waarop PAIR wordt geïnstalleerd wordt een node. Meerdere gekoppelde nodes vormen een cluster, dat kan draaien op Windows 11, Linux of macOS, inclusief x64- en arm64-architecturen. Windows op ARM is momenteel experimenteel.
Er is geen centrale permanente controller. Volgens NVIDIA’s documentatie draaien alle nodes dezelfde software.
PAIR ontdekt beschikbare apparaten op het lokale netwerk, controleert welke motoren en modellen klaarstaan en presenteert een lokale endpoint aan de cliëntsoftware. Momenteel werkt het vooral met motoren zoals Ollama en LM Studio, terwijl de documentatie ook enige integratie met llama.cpp beschrijft in specifieke scenario’s.
Een applicatie kan bijvoorbeeld een vraag sturen via de OpenAI API:
curl http://127.0.0.1:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen4:12b","messages":[{"role":"user","content":"Hello"}]}'De applicatie hoeft niet te bepalen op welke computer de inferentie draait.
PAIR ontvangt de aanvraag, ontdekt welke nodes die kunnen afhandelen, selecteert een geschikt apparaat en stuurt de taak door. Het antwoord komt vervolgens terug via de proxy.
In schematische vorm:
Agent / applicatie
↓
PAIR endpoint
↓
┌─────┼─────┐
↓ ↓ ↓
Node A Node B Node C
GPU A GPU B GPU CHiermee wordt duidelijk dat PAIR geen “gedistribueerde GPU” is.
Een aanvraag wordt volledig toegewezen aan één node.
Bij vijf gelijktijdige inferenties kunnen die door PAIR over verschillende machines worden verdeeld. Maar als een model meer dan bijvoorbeeld 100 GB aan geheugen vereist en geen enkele machine die capaciteit individueel heeft, betekent het niet dat vier machines met elk 32 GB gezamenlijk 128 GB geheugen bieden. Het samenvoegen gebeurt niet automatisch.
NVIDIA geeft expliciet aan dat PAIR geen GPU’s combineert, geen geheugen toevoegt, geen “sharding” van modellen tussen systemen uitvoert en geen lopende inferentie verdeelt over meerdere machines.
Daarom is het vooral nuttig bij gelijktijdige loads.
Een voorbeeld is een multi-agent omgeving. In plaats van vijf subagenten te laten wachten op dezelfde GPU, kunnen verschillende verzoeken gelijktijdig op verschillende machines worden uitgevoerd.
Een scheduler voor lokale AI die nog veel kan verbeteren
Het meest technische interessante is hoe PAIR bepaalt waar een aanvraag naartoe gaat.
Een node wordt alleen kandidaat als deze toegankelijk is, een compatibele motor draait en het gevraagde model beschikbaar is.
Vervolgens activeert de planner het proces.
Volgens de documentatie houdt de scheduler vooral rekening met het werk dat nog moet gebeuren en een verzacht signaal voor GPU-bezetting. Proxies tellen ook de net verstuurde verzoeken mee om te voorkomen dat een burst aan aanvragen één machine overbelast voordat de gemeten belasting zich aanpast.
Dit is een eerste benadering, maar NVIDIA erkent dat er belangrijke beperkingen zijn.
Het project geeft aan dat het algoritme momenteel geen rekening houdt met het specifieke GPU-model, de beschikbare geheugenruimte, of of het model al in geheugen ligt of niet, en ook niet met de geschatte kosten van een aanvraag. Hierdoor werkt PAIR beter met vergelijkbare hardwaregroepen dan met heterogene clusters.
NVIDIA wil die capaciteit in toekomstige versies verbeteren en mogelijk verschillende planningsbeleid introduceren, hoewel dat nog ontwikkelideeën zijn en geen garantie voor de uiteindelijke productstatus.
Deze beperking verklaart ook de eerste reacties uit de community.
Een veel gelezen publicatie wijst op het ontbreken van goede ondersteuning voor een AMD Strix Halo met ROCm 10. De maker heeft een externe ontwikkelaar gevraagd om aanpassingen te maken zodat dit mogelijk wordt.
Deze aanpassing is momenteel niet onderdeel van het officiële NVIDIA-project en wordt niet officieel ondersteund totdat er functionele code beschikbaar is en deze door de maintainers wordt geaccepteerd.
Deze situatie illustreert wel het voordeel van de open-source licentie Apache 2.0 waaronder PAIR is vrijgegeven: ontwikkelaars kunnen de code bestuderen, aanpassen en voorstellen indienen via pull requests.
De governance van NVIDIA voorziet in dit proces: de maintainers beoordelen alle bijdragen en beslissen of deze worden geïntegreerd.
AI op locatie, lokaal netwerk en compatibiliteit met bestaande toepassingen
PAIR probeert ook het aantal aanpassingen in bestaande software die al lokale modellen gebruikt te beperken.
Het biedt proxies die compatibel zijn met Ollama en die APIs gebruiken in OpenAI-formaat. Een applicatie kan blijven werken alsof alles lokaal gebeurt, terwijl PAIR de juiste machine kiest om de aanvraag uit te voeren.
Volgens de documentatie gebeurt het discovery-proces van nodes via mDNS, waarna de modellen worden geïnventariseerd via de motoren zelf.
Het koppelingsproces vereist een zes-cijferige PIN-code. Na bevestiging van de vertrouwensrelatie worden de communicatiekanalen beveiligd met TLS-mutual (mTLS), en niet-leden worden geweerd.
NVIDIA waarschuwt dat deze PIN-code vooral een tijdelijk mechanisme is om de eerste vertrouwensrelatie te vormen en geen high-entropy credentials. Het wordt aangeraden enkel betrouwbare machines en netwerken te gebruiken.
Ook voor privacy blijft het belangrijk:
PAIR is ontworpen om verzoeken en antwoorden binnen het lokale netwerk te houden wanneer alle componenten lokaal zijn. Dit betekent dat externe services niet automatisch mee worden gedeeld, alleen de systemen die betrokken zijn in het netwerk.
Dit is aantrekkelijk voor thuislaboratoria, ontwikkelaars, kleine distributiestations en omgevingen waar meerdere agents resources delen.
Het beïnvloedt ook de manier waarop hardware voor persoonlijke AI wordt begrepen.
Vroeger was de gangbare oplossing voor meer capaciteit het kopen van een grotere GPU of het uitbesteden aan cloudinfrastructuur. PAIR biedt een derde mogelijkheid voor bepaalde scenario’s: beter gebruik maken van al bestaande systemen.
Het vervangt niet gedistribueerd trainen, tensor parallelisme of technologieën die grote modellen over meerdere accelerators verdelen. Het maakt ook geen drie eenvoudige computers tot een grote AI-werkstation.
Het doel is concreet: als er meerdere losse inferenties en meerdere systemen zijn, voorkomt PAIR dat alle verzoeken wachten op dezelfde resource.
Voor ontwikkelaars die met multi-agent systemen beginnen, kan dat onderscheid juist de meest interessante eigenschap van PAIR zijn.
Veelgestelde vragen
Wat is NVIDIA Personal AI Router?
PAIR is een open-source project dat onafhankelijke inferentieaanvragen verdeelt over compatibele computers op hetzelfde lokale netwerk. Applicaties kunnen verbinding maken via endpoints die compatibel zijn met Ollama en OpenAI.
Voegt PAIR GPU-geheugen samen?
Nee. Elke aanvraag wordt volledig op één node uitgevoerd. PAIR voegt geen VRAM samen en creëert geen grotere virtuele GPU. Het verdeelt ook geen modellen tussen systemen.
Werkt PAIR op Windows, Linux en macOS?
Ja. NVIDIA biedt ondersteuning voor Windows 11, Linux en macOS met architecturen x64 en arm64. De daadwerkelijke inferentie hangt ook af van de motor, GPU, drivers en gebruikte modellen.
Ondersteunt NVIDIA PAIR AMD ROCm?
PAIR kan dus op verschillende systemen draaien, maar dat betekent niet dat elke GPU of inference-motor automatisch compatibel is. De aanpassing voor AMD Strix Halo en ROCm 10 is van een externe ontwikkelaar en wordt niet officieel ondersteund, totdat er functionele code is die door NVIDIA wordt geaccepteerd.