AMD heeft Taalas overgenomen, een kleine Canadees bedrijf dat experimenteert met een radicaal andere aanpak dan die van huidige GPU’s: de gewichten van een artificiële intelligentiemodel direct in het siliconen te integreren. Hun demonstrator HC1 behaalt ongeveer 16.960 tokens per seconde bij het uitvoeren van Llama 3.1 8B, een prestatie die moeilijk te bereiken is met conventionele versnellingskaarten en die het grote belang van AMD voor het bedrijf verklaart.
De kernpunten van de overname van Taalas door AMD in 20 seconden
- AMD kondigde de overname van Taalas op 6 augustus aan, zonder de financiële details bekend te maken.
- Hun demonstrator HC1 runt Llama 3.1 8B op ongeveer 16.960 tokens per seconde, volgens Taalas.
- Het bedrijf integreert de modelgewichten direct in het siliconen om dataverkeer te minimaliseren.
- Het nadeel is dat flexibiliteit verloren gaat: substantieel wijzigen van het model vereist een nieuwe hardwareproductie.
- AMD is van plan deze gespecialiseerde technologie te combineren met haar Instinct-accelerators.
AMD heeft niet simpelweg een ander bedrijf overgenomen dat versnellingskaarten ontwerpt. Taalas biedt een andere oplossing voor een van de grote economische problemen bij het inferentieproces van taalmodellen: het voortdurend verplaatsen van enorme hoeveelheden informatie tussen geheugen en rekenunits.
De overname wijst ook op een mogelijke evolutie van datacenters voor AI. In plaats van hetzelfde GPU-type te gebruiken voor alle fasen van een taak, kunnen bepaalde modellen die voldoende stabiel zijn, uiteindelijk op specifiek voor hen ontworpen hardware draaien.
16.960 tokens per seconde met een chip van 6 nanometer
Taalas presenteerde HC1 in februari 2026 als demonstratie van haar architectuur. De chip is vervaardigd via een 6 nanometer proces van TSMC, ver verwijderd van de meest geavanceerde nodes die momenteel worden gebruikt door de nieuwste AI-accelerators.
De opvallendste eigenschap is echter een andere.
HC1 is specifiek gebouwd om Llama 3.1 8B uit te voeren, het model van ongeveer 8 miljard parameters dat in 2024 door Meta werd geïntroduceerd.
Taalas meldde een maximale prestaties van bijna 17.000 tokens per seconde per gebruiker. Latere tests op de openbare demonstratie hebben snelheden rond de 15.000 tokens per seconde geregistreerd, wat extra bevestigt dat het systeem binnen dat bereik functioneert.
De verschillen met andere versnellingskaarten zijn enorm.
Toen Cerebras hun inferentiedienst voor Llama 3.1 8B lanceerden, meldden ze snelheden boven de 1.800 tokens per seconde. Hun latere documentatie gaf een gemeten prestatie van ongeveer 2.200 tokens/sec.
Taalas presenteerde HC1 als ongeveer 8,5 keer sneller dan Cerebras en 48 keer sneller dan bepaalde NVIDIA-configuraties die in hun vergelijking werden gebruikt.
Het is belangrijk om die cijfers als fabrikantspecificaties te beschouwen. Tokens per seconde vormen niet op zichzelf een universele benchmark: factoren zoals precisie, lengte van de context, batching, latentie, model, configuratie en aantal gelijktijdige gebruikers beïnvloeden de prestaties.
Wat achter deze cijfers echt interessant is, ligt echter dieper.
Het model reist niet langer van geheugen
Bij een conventionele versneller is er een fysieke scheiding tussen rekenen en geheugen.
Moderne GPU’s proberen deze beperking te verminderen door enorme hoeveelheden HBM (High Bandwidth Memory) te gebruiken. NVIDIA, AMD en andere fabrikanten hebben generatie na generatie de capaciteit en de bandbreedte vergroot.
Maar tijdens bepaalde fasen van inferentie, vooral bij de sequentiële generatie van tokens, kan het verplaatsen van gewichten een van de grootste knelpunten worden.
Taalas elimineert een groot deel van dit probleem op een vrij drastische manier: de gewichten zijn fysiek geïntegreerd in het chip.
De architectuur maakt gebruik van een regio die het bedrijf mask-ROM recall fabric noemt. Informatie die veranderlijk moet blijven, wordt opgeslagen in SRAM, inclusief elementen als KV-cache en LoRA-aanpassingen.
In eenvoudige termen: de processor hoeft niet voortdurend externe geheugen te raadplegen voor gewichten, omdat veel daarvan fysiek deel uitmaken van de structuur van het apparaat.
Het resultaat is een enorme verbetering in prestaties en efficiëntie.
De prijs daarentegen is afgenomen flexibiliteit.
Een GPU kan vandaag Llama draaien, morgen Qwen en overmorgen weer een ander model, door simpelweg andere gewichten te laden.
Dat is bij de Taalas-chip niet het geval.
Grote wijzigingen in het model vereisen een nieuwe productie van het siliconen. Hoewel Taalas aangeeft dat haar methodologie wel enkele aanpassingen mogelijk maakt via bewerkingen op de metaallagen van het ontwerp, blijft een fysiek fabricageproces noodzakelijk.
Dit introduceert een variabele die normaliter tot de software behoort – de levensduur van het model – binnen het economische cyclusthema van siliciumproductie.
AMD wil Taalas verbinden met Instinct, niet vervangen door haar GPU’s
Dit punt helpt de aankoop beter te begrijpen.
AMD heeft niet aangekondigd dat Taalas haar Instinct-productlijn zal vervangen. Het tegenovergestelde is het geval: ze wil haar technologie integreren in haar systeemoplossingen en oplossingen op systeemniveau ontwikkelen in samenwerking met AMD Instinct.
Dat opent een bijzonder interessante mogelijkheid: het differentiëren van verschillende inferentiefasen.
Het initiële verwerken van een prompt en de latere generatie van tokens hebben verschillende computationale kenmerken. Het is niet altijd economisch optimaal om beide fasen op precies dezelfde hardware uit te voeren.
Toekomstige infrastructuren kunnen bijvoorbeeld gebruikmaken van programmeerbare versnellers zoals Instinct voor de fasen die meer flexibiliteit vereisen en gespecialiseerde chips voor het herhaaldelijk uitvoeren van het stabiele deel van het proces.
De infrastructuurkeuze zou dan niet meer beperkt zijn tot:
Hoeveel GPU’s heeft dit model nodig?
Maar zou ook vragen omvatten als:
Welke onderdelen van de taak moeten op elk type versneller worden uitgevoerd?
Dit is een evolutie die ook zichtbaar wordt in andere gespecialiseerde inferentiesystemen. Bedrijven zoals Cerebras en Groq hebben aangetoond dat er ruimte is voor oplossingen buiten de conventionele GPU’s, vooral wanneer lage latenties en hoge snelheden vereist zijn.
Economisch risico: hoe lang blijft het model relevant?
Er is echter een minder technologisch, wellicht zelfs economisch, belangrijke kwestie.
Een server met een GPU behoudt enige economische flexibiliteit: als het model niet meer wordt gebruikt, kan de accelerator voor iets anders worden ingezet.
Een ASIC, ontwikkeld rond een specifiek model, heeft een andere situatie.
Als het model uit de productieomgeving verdwijnt voordat het hardware heeft kunnen amortiseren, wordt de hergebruikbaarheid ervan sterk beperkt.
Dit kan zelfs de financiering van de infrastructuur beïnvloeden. Een algemene GPU heeft een secundaire markt en kan voor verschillende taken worden ingezet. Het inschatten van de waarde van een chip op lange termijn, afhankelijk van een telkens wisselend model, wordt veel moeilijker.
Daarom is Taalas waarschijnlijk vooral interessant in eerste instantie voor modellen die weinig veranderen en voor workloads met enorm hoge inferentievolumes.
Toepassingen zoals fraudedetectie, classificatie, industriële visie, bepaalde aanbevelingssystemen of sterk gestabiliseerde bedrijfsmodellen kunnen beter passen bij dat profiel dan generatieve diensten die regelmatig van model wisselen.
De aankoop van Taalas roept dus een vraag op die verder gaat dan de snelheid van 16.960 tokens per seconde.
In de afgelopen jaren heeft de industrie geprobeerd steeds programmeerbaardere versnellers te ontwikkelen die vrijwel elk model kunnen draaien. Taalas onderzoekt een tegenovergestelde benadering: een deel van die flexibiliteit opofferen om kosten te besparen die juist door die flexibiliteit worden veroorzaakt.
AMD lijkt te geloven dat beide benaderingen naast elkaar kunnen bestaan.
En als die strategie slaagt, kan het opzetten van een inferentieplatform voor AI evolueren van het kiezen van één GPU-familie naar een verdeelsysteem, waarbij verschillende versnellers worden ingezet afhankelijk van de benodigde rekenkracht, geheugen, flexibiliteit en snelheid voor elke fase.
Veelgestelde vragen
Welke snelheid haalt de Taalas HC1?
Taalas heeft ongeveer 16.960 tokens per seconde bij het draaien van Llama 3.1 8B gemeld. Dit is een fabrieksschatting, maar tests op hun publieke demonstratie wijzen op vergelijkbare resultaten.
Waarom kan Taalas tokens zo snel genereren?
De architectuur integreert de modelgewichten direct in het siliconen, waardoor het dataverkeer tussen extern geheugen en rekenunits, dat vaak de inferentie vertraagt, sterk wordt verminderd.
Kan HC1 elk AI-model draaien?
Nee. HC1 is specifiek gebouwd voor Llama 3.1 8B. De architectuur ondersteunt bepaalde aanpassingen en add-ons zoals LoRA, maar ingrijpende veranderingen in het model vereisen nieuwe hardware.
Zult AMD haar Instinct GPU’s vervangen door Taalas-chips?
Dat is niet de boodschap. AMD stelt dat ze de Taalas-technologie wil integreren in haar systeemoplossingen samen met de GPU’s van de Instinct-serie, wat duidt op meer gespecialiseerde inferentiearchitecturen.