De Mac mini en Mac Studio zijn ongewone maar steeds vaker gebruikte onderdelen geworden in de infrastructuur van enkele van de grootste artificiële intelligentielaboratoria. Volgens berichten zou OpenAI tienduizenden Apple-computers hebben aangeschaft voor taken zoals reinforcement learning en het ontwikkelen van agents die computers kunnen gebruiken, terwijl Anthropic Mac mini’s huurt via Amazon Web Services (AWS). Tegelijkertijd zien we ook een toenemende vraag naar compacte systemen gebaseerd op NVIDIA-hardware, wat wijst op een groeiende markt voor AI-uitvoering buiten de traditionele grote GPU-clusters.
De kernpunten over Macs en AI-infrastructuur in 30 seconden
- OpenAI zou tienduizenden Mac mini en Mac Studio hebben gekocht voor reinforcement learning en agentontwikkeling.
- Anthropic huurt eveneens Mac mini’s via AWS.
- De gedeelde geheugenarchitectuur stelt CPU en GPU in staat om toegang te krijgen tot hetzelfde grote geheugengebied, wat gunstig is voor lokaal modelgebruik.
- Apple heeft recentelijk de Mac mini en Mac Studio vernieuwd met de nieuwe M6-, M5 Max- en M5 Ultra-chipsets.
- De vraag bewijst dat bepaalde AI-taken efficiënt kunnen worden uitgevoerd op hardware die anders is dan de grote datacenter- GPU-accelerators.
De informatie komt van The Information, dat citeert uit bronnen die bekend zijn met de operaties van OpenAI en Anthropic. Vooralsnog is er geen openbare bevestiging van OpenAI over het exacte aantal verworven systemen of de investeringswaarde, dus de genoemde cijfers zijn gebaseerd op journalistieke bronnen en niet op officiële mededelingen van het bedrijf.
Deze trend is bijzonder interessant omdat deze systemen niet bedoeld zijn om de grote GPU-clusters te vervangen die gebruikt worden voor het trainen van de grootste fundamentele modellen.
Hun aantrekkingskracht ligt juist in een ander deel van het proces: agents, reinforcement learning, lokale inferentie, ontwikkeling en workloads die veel geheugen nodig hebben maar niet per se de kracht van een high-end datacenteraccelerator vereisen.
Waarom zou een AI-laboratorium duizenden Macs willen?
De belangrijkste technische troef van Apple Silicon voor bepaalde AI-belastingen ligt in de gedeelde geheugenarchitectuur.
Bij een conventioneel systeem met een aparte GPU gebruikt de CPU het hoofdgeheugen, terwijl de GPU meestal zijn eigen VRAM heeft. Data moeten tussen beide verplaatst worden wanneer een applicatie ze in één of ander proces wil gebruiken.
Apple gebruikt een andere aanpak.
CPU, GPU en andere accelerators binnen de SoC kunnen allemaal toegang krijgen tot hetzelfde gedeelde geheugen. Voor bepaalde workloads maakt dit het mogelijk om een grote hoeveelheid geheugen te gebruiken dat toegankelijk is voor de GPU, iets wat moeilijk is te vinden in een traditioneel werkstation met alleen één grafische kaart.
De nieuwe Mac Studio, gepresenteerd op 25 augustus, tilt dit concept nog verder. Met de M5 Ultra-configuratie kan deze tot 512 GB gedeeld geheugen en 1,2 TB/s geheugenbandbreedte bereiken, naast een configuratie met maximaal 36 CPU-kernen en 80 GPU-kernen.
Dit maakt de Mac Studio niet gelijk aan een server met NVIDIA-datacenter-accelerators.
Het zijn verschillende platformen.
Professionele GPU’s voor AI bieden CUDA, gespecialiseerde numerieke formaten, interconnecties voor grote clusters en een ecosysteem dat zich jaren heeft ontwikkeld rondom getrainde en versnelde inferentie.
Toch is een ander probleem steeds relevanter: het passen van het model in het geheugen.
Grote modellen kunnen tientallen of honderden gigabytes nodig hebben enkel voor het laden van hun gewichten. Quantisatie kan dit verminderen, maar het geheugen blijft een belangrijke beperking bij het uitvoeren van grote modellen op locatie.
Hier kan een compact systeem met honderden gigabytes gedeeld geheugen bijzonder interessant zijn.
| Kenmerk | Mac met Apple Silicon | Conventionele GPU met aparte VRAM | Dataacenteraandrijving |
|---|---|---|---|
| Geheugen | Gedeeld door CPU en GPU | Gescheiden RAM en VRAM | Dedicated HBM |
| Toegang GPU-geheugen | Zeer hoog mogelijk | Beperkt door VRAM | Hoog, afhankelijk van accelerator |
| Energieverbruik | Relatief laag | Variabel | Meestal hoog |
| CUDA | Nee | Ja, NVIDIA | Ja, NVIDIA |
| Lokale inzet | Heel makkelijk | Gemiddeld | Zeer beperkt |
| Grote clusters | Beperkt | Enigszins mogelijk op kleine schaal | Specifiek ontworpen |
| Grote modellen op locatie | Bijzonder interessant bij veel geheugen | Beperkt door VRAM | Uitstekend, maar duurder |
| Agents op macOS | Voordeel voor testomgeving Apple | Niet van toepassing | Niet hoofdgebruik |
Deze laatste eigenschap helpt wellicht om het interessegebied van OpenAI te begrijpen.
Volgens The Information worden deze systemen gebruikt voor reinforcement learning en het trainen van agents die kunnen interageren met computers.
Zo’n agent moet interfaces kunnen observeren, applicaties openen, bestanden manipuleren, websites browsen en leren echte taken uit te voeren.
Het fysiek aanwezig maken van de omgeving waarin het agent getraind of geëvalueerd wordt, kan hiervoor nuttig zijn.
OpenAI zou niet de enige geïnteresseerd partij zijn
Deze trend beperkt zich niet alleen tot OpenAI.
The Information stelt dat Anthropic ook Mac mini’s huurt via AWS, wat opvallend is omdat AWS een van de grootste cloud-infrastructuurleveranciers is die reeds eigen AI-accelerators in huis heeft.
Het feit dat ook andere partijen interesse tonen in Apple-hardware onderstreept dat deze systemen niet enkel bedoeld zijn als goedkope vervangers voor NVIDIA-GPU’s.
De systemen zijn volgens de rapportage vooral geschikt voor specifieke workloads.
Bovendien ontstaan er bedrijven die infrastructuur bouwen met uitsluitend Apple-hardware, wat wijst op een toenemende vraag naar Macs in datacenter-omgevingen.
Het concept is bijzonder: Apple heeft jaren geleden haar Xserve-serverlijn verlaten en verkoopt momenteel geen volledige serversystemen zoals gebruikelijk is in datacenters.
De Mac mini en Mac Studio zijn desktop-IT-eenheden.
Dit betekent dat grootschalige deploys fysieke en operationele uitdagingen met zich meebrengen, zoals montage, voeding, netwerkinfrastructuur, remote management, koeling en uitruk van hardware, die gewoonlijk bij standaardservers al geïntegreerd zijn.
Toch vinden marketpartijen manieren om ze te gebruiken.
Apple biedt nog meer geheugen aan
Deze ontwikkelingen vallen samen met een belangrijke vernieuwing in Apple Silicon.
Op 25 augustus introduceerde Apple haar eerste 2nm-chip, de M6, en gelijktijdig de nieuwe M5 Ultra.
De M6 zit in de nieuwe Mac mini en beschikt over een 12-core CPU, een 12-core GPU met Neural Accelerators, twee Neural Engines van 16 kernen, en tot 170 GB/s gedeeld geheidgebruik.
Voor lokale AI-toepassingen is vooral de M5 Ultra van de Mac Studio extra interessant.
Apple gebruikt een nieuwe UltraFusion-architectuur, waarmee voor het eerst een Ultra-chip bestaat uit vier dies, waardoor er in theorie tot 36 CPU-kernen en 80 GPU-kernen kunnen worden gerealiseerd, met die genoemde 512 GB gedeeld geheugen en 1,2 TB/s bandbreedte.
Volgens Apple is deze machine gericht op professionele en AI-workloads.
Volgens eigen tests kan de nieuwe Mac Studio tot 4,3 keer de prestaties leveren op specifieke AI-taken ten opzichte van voorgaande generaties. Zoals gebruikelijk met fabrikantspecifieke benchmarks moeten deze cijfers met de nodige voorzichtigheid worden gelezen, omdat de resultaten sterk afhankelijk zijn van de gebruikte applicaties en configuraties.
De hoeveelheid geheugen is waarschijnlijk belangrijker voor deze markt dan de prestatiespecifieke percentages.
Een compacte werkstation met een half terabyte gedeeld geheugen biedt de mogelijkheid om met modellen te experimenteren die anders slechts met minder conventionele configuraties mogelijk zouden zijn.
NVIDIA wil ook in deze markt
Het belang van Macs sluit aan bij NVIDIA’s strategie om haar AI-architectuur verder te brengen in kleinere systemen.
De DGX Spark was een eerste duidelijke demonstratie hiervan.
In plaats van enkel te focussen op servers met meerdere GPU’s, ontwikkelde NVIDIA een desktopplatform gebaseerd op de superchip GB10 Grace Blackwell, met gedeeld geheugen en de capaciteit om AI-modellen lokaal uit te voeren.
Het conceptuele gelijkenis met Apple Silicon — veel gedeeld geheugen, compacte systemen, efficiëntie — is duidelijk zichtbaar.
The Information meldt dat NVIDIA Apple als een van haar belangrijkste concurrenten ziet in deze snelgroeiende markt voor lokale AI.
Dit betekent niet dat Apple meteen de markt voor datacenter-accelerators van NVIDIA bedreigt.
De markten en schaalniveaus verschillen fors.
NVIDIA blijft de dominantie behouden in het trainen van grote modellen, met een ecosysteem rond CUDA en high-end interconnecties voor het schalen van clusters.
De concurrentie is meer gericht op kleinere workloads: werkstations, kleine servers, ontwikkelaars, lokale agents, inferentie, en modellen die veel geheugen nodig hebben, maar geen volledige rack GPU’s vereisen.
Apple Silicon kan daar concurreren doordat het een architectuur gebruikt die oorspronkelijk ontworpen is voor persoonlijke computers.
De geheugencrisis bemoeilijkt deze stroming
Er zit een paradox achter de nieuwe vraag naar zulke systemen.
Juist nu Macs met grote geheugencapaciteit aantrekkelijk worden voor AI, wordt de wereldwijde geheugenvraag door AI-uitbreiding verder onder druk gezet.
Datacenters absorberen enorme hoeveelheden HBM en DRAM; fabrikanten richten zich op producten met hoge marges voor accelerators en servers, vaak met langetermijncontracten.
Dit heeft ook invloed op de markt voor personal computers.
The Information meldt dat de beschikbaarheid van geavanceerde Mac mini en Mac Studio-modellen de afgelopen maanden problematisch was, waardoor sommige bedrijven zoeken naar alternatieven.
Apple heeft inmiddels nieuwe generaties uitgeleverd, maar de vraag bepaalt of de levering snel genoeg kan voldoen aan de behoeften van professionele kopers.
De ontwikkeling van de verkoopcijfers geeft trouwens een indicatie: in het kwartaal mei-juni bedroeg de omzet van de Mac-divisie 10,4 miljard dollar, een groei van bijna 29% op jaarbasis, waarmee het de snelst groeiende productlijn binnen Apple was in die periode.
Niet alles van dat groeiresultaat komt door AI, uiteraard.
Maar de toenemende vraag van ontwikkelaars en bedrijven benadrukt dat Apple’s focus op lokale AI-mogelijkheden steeds meer wordt onderstreept in hun communicatie.
Van GPU-kopen naar nuttige computercapaciteit kopen
De bredere les voor de technologie-industrie is dat het oorspronkelijke beeld van GPU’s als alleen voor grote datacenters bedoeld, aan het verschuiven is.
In de beginjaren van generatieve AI lag de nadruk vooral op GPU’s van NVIDIA. Nu verschuift dat beeld.
Grote bedrijven blijven enorme GPU-clusters nodig hebben voor de training van state-of-the-art modellen. Maar naast deze grote workloads ontstaan ook steeds meer andere taken: inferentie, agents, reinforcement learning, data-analyse, synthetische data-generatie, ontwikkeling en experimentatie.
Verschillende hardwaresets kunnen daarbij passend zijn.
Een datacenter kan bijvoorbeeld NVIDIA GPUs gebruiken voor training, interne chips voor inferentie, en Apple Silicon-systemen voor specifieke taken met agents.
Modellen met open source code maken het bovendien mogelijk om inferentie afhankelijk van kosten, privacy, geheugentoegang en prestatiebehoeften op verschillende systemen uit te voeren.
Daarom kunnen tienduizenden Macs voor OpenAI zinvol zijn, zonder dat het betekent dat het bedrijf afziet van grote investeringen in GPU-infrastructuur.
Het gebruik van Mac mini en Mac Studio voor AI-toepassingen was waarschijnlijk niet de oorspronkelijke bedoeling van Apple toen ze overschakelden van Intel naar eigen processors, maar ze vinden nu een nieuwe rol in de AI-infrastructuur.
De gedeelde geheugentopologie die de efficiëntie en prestaties bij gewone computers verhoogt, blijkt juist voor AI-sites heel geschikt te zijn, vooral vanwege de grote hoeveelheid parameters die moet worden opgeslagen en verwerkt.
De Mac’s zullen niet de grote AI-clusters vervangen.
Maar dat OpenAI ze in de tienduizenden koopt, illustreert wellicht iets nog interessanters: de AI-infrastructuur begint te diversifiëren, en het volledige rekenvermogen hoeft niet meer op een server vol GPU’s te lijken.
Veelgestelde vragen
Hoeveel Mac’s zou OpenAI hebben gekocht?
The Information meldt dat OpenAI tienduizenden Mac mini en Mac Studio heeft aangeschaft. Een exacte hoeveelheid is niet officieel bevestigd.
Waarvoor gebruikt OpenAI de Mac mini’s en Mac Studio’s?
Volgens de bronnen worden ze ingezet voor reinforcement learning en het ontwikkelen of trainen van agents die kunnen interageren met computers.
Waarom zijn Macs interessant voor het uitvoeren van AI-modellen?
Apple Silicon biedt gedeeld geheugen dat toegankelijk is voor CPU en GPU. Configuraties met veel geheugen maken het mogelijk om modellen te draaien die de VRAM van veel traditionele GPU’s overtreffen.
Kunnen Macs GPU’s van NVIDIA vervangen voor het trainen van grote modellen?
Ze zijn niet gelijkwaardig. NVIDIA heeft aanzienlijke voordelen voor grote clusters, dankzij CUDA, gespecialiseerde numerieke formaten en hoge-snelheid interconnecties. Macs zijn vooral interessant voor bepaalde lokale workloads, agents, ontwikkeling en inferentie.
Bron: wccftech