Nieuwe technologieën voor AI-inferentie: Groq’s intrede in Europa
In de wereld van kunstmatige intelligentie (AI) zijn er momenteel twee belangrijke fasen: training en inferentie. Terwijl veel technologiegiganten zich blijven richten op het trainen van steeds grotere modellen, is er een onopvallende maar strategische wedstrijd gaande om deze modellen snel, efficiënt en duurzaam uit te voeren. In deze arena verwerft de Amerikaanse startup Groq steeds meer terrein. Onlangs opende Groq zijn eerste datacenter in Europa, gelegen in Helsinki, Finland, in samenwerking met Equinix. Hun doel? De markt voor AI-inferentie domineren, waar het werkelijke contact met de gebruiker plaatsvindt.
Trainen is duur, gebruiken ook
Het trainen van AI-modellen is een dure aangelegenheid, maar dat geldt ook voor het gebruik ervan. Tijdens de trainingsfase worden modellen geleerd om woorden, afbeeldingen of tokens te voorspellen. In de inferentiefase beantwoorden ze verzoeken van gebruikers, zoals prompts in ChatGPT of instructies in Copilot. Tot nu toe heeft NVIDIA de kroon gedragen met zijn krachtige GPU’s, essentieel voor training. Maar inferentie vereist andere vaardigheden: snelheid, stabiliteit, lage latentie en energie-efficiëntie.
Hier komt Groq in beeld met zijn Language Processing Units (LPU’s), chips die van de grond af aan zijn ontworpen om razendsnel te reageren zonder dat een massale hardware-implementatie nodig is. Volgens Groq ligt hun focus niet op laboratoriumconcurrentie, maar eerder op de dagelijkse behoeften van miljoenen gebruikers. Europa is hun volgende grote toneel.
Inferentie in het noorden
Waarom Finland? Het land biedt schone energie, een gunstig klimaat voor koeling en een strategische positie om bedrijven en overheden in heel Europa te bedienen die snelheid en naleving van regelgeving nodig hebben. Groq stelt dat het datacenter in Helsinki operationeel zal zijn met “ultra-lage latentie, energie-efficiëntie en digitale soevereiniteit”, helemaal vanuit bestaande infrastructuur, zonder een nieuw campus te hoeven opzetten.
Volgens Groq werd de uitrol in Helsinki binnen enkele weken gerealiseerd en biedt het de mogelijkheid om snel op te schalen. “We hebben een wereldwijd netwerk gebouwd dat al meer dan 20 miljoen tokens per seconde verwerkt. Deze uitbreiding stelt ons in staat om dichter bij Europese klanten te komen zonder in te boeten op snelheid,” aldus een officieel statement.
Een nieuwe fase van AI
De stap van Groq komt niet uit de lucht vallen. McKinsey schat dat de markt voor hardware voor inferentie de markt voor training in datacenters in de komende jaren twee keer zo groot zal zijn. Barclays gaat nog verder en voorspelt dat de grote spelers in de sector binnen twee jaar meer zullen uitgeven aan inferentie-chips dan aan training. Dit zou NVIDIA een marktaandeel van maar liefst 200 miljard dollar kunnen kosten.
Groq heeft echter niet de ambitie om de grootste modellen te bouwen. Hun focus ligt op de integratie van AI in alle apparaten en processen, waarbij de snelheid en de energie-efficiëntie cruciaal zijn. Hun LPU, gebaseerd op deterministische verwerking en zonder High Bandwidth Memory (HBM), heeft hierin een competitief voordeel.
De data die alles verandert
Nu bedrijven zich niet alleen afvragen “wat kan AI doen”, maar ook “wat kost het om het op grote schaal te gebruiken?”, positioneert Groq zich als een realistische alternatieve oplossing voor een steeds energie-intensievere en complexe benadering van AI.
Bovendien, doordat ze niet afhankelijk zijn van traditionele GPU’s, kan Groq knelpunten in de toeleveringsketen vermijden, kosten verlagen en zich vestigen in regio’s met strenge regelgeving, zoals de Europese Unie. Dit maakt hun komst naar Europa meer dan alleen een simpele expansie; het is een duidelijke verklaring van intenties.
David tegen Goliath?
Hoewel Groq wellicht nog niet het aanzien van NVIDIA heeft, ontwikkelt het zich tot een ontwrichtende speler in de praktische AI-ruimte. Hun strategie is helder: niet alles vervangen, maar zich specialiseren in de toekomst. Als het dagelijks gebruik van kunstmatige intelligentie het verwachte tempo van groei behoudt, is het niet ondenkbaar dat in de toekomst een instant antwoord van een AI-model niet afkomstig is van een NVIDIA GPU, maar van een Groq LPU.