De Chinese fabrikant Axera heeft de AX8860 gepresenteerd, een chip gericht op het uitvoeren van grote taalmodellen (LLM) en AI-agenten op compacte systemen. Volgens de gegevens van Sipeed, een van de fabrikanten die apparaten met deze technologie voorbereiden, kan de processor bepaalde tests met Qwen 27B overtreffen op het NVIDIA DGX Spark, met een 25% hogere snelheid bij het initiële modelleren en 30% sneller bij het genereren van antwoorden. Deze cijfers moeten nog onafhankelijk worden gevalideerd.
De kernpunten van de Axera AX8860 in 20 seconden
- De chip bevat een neurale verwerkingsunit (NPU) met maximaal 256 TOPS in FP4 en een 16-core Arm CPU.
- Kan worden geconfigureerd met tot 128 GB LPDDR5X-geheugen en een overdrachtssnelheid van 273 GB/s.
- De aangekondigde module verbruikt 40 W, volgens de verstrekte specificaties.
- Sipeed beweert dat de AX8860 het sneller doet dan de DGX Spark met Qwen 27B, maar heeft geen onafhankelijke validatie geleverd.
- Axera ontwikkelt ook PCIe-kaarten met vier chips die theoretisch 1024 TOPS kunnen bereiken.
De aankondiging richt zich op een steeds relevanter segment voor ontwikkelaars en bedrijven: het lokaal uitvoeren van AI-modellen zonder afhankelijk te zijn van grote servers of het noodzakelijkerwijs naar de cloud te sturen. De combinatie van veel geheugen, laag energieverbruik en gespecialiseerde versnelling kan aantrekkelijk zijn voor het draaien van lokale assistenten, programmeertools en agentssystemen.
Echter, de TOPS-cijfers bieden niet voldoende basis om te bepalen welk systeem een daadwerkelijk model het beste zal uitvoeren. De snelheid hangt namelijk ook af van de architectuur, software, kwantisatie, de grootte van de context en hoe de prestaties worden gemeten. Daarom moeten de door Sipeed aangekondigde vergelijkingen worden geïnterpreteerd als fabrieksresultaten die nog moeten worden bevestigd door onafhankelijke tests.
256 TOPS, 128 GB geheugen en PCIe 5.0-connectiviteit
Volgens de specificaties die Sipeed heeft gepubliceerd en overgenomen door Wccftech, is de AX8860 gebaseerd op een fabricageproces van 6 nanometer. Het bevat een CPU met 16 ARM Cortex-A55-kernen en een eigen neuronale eenheid (NPU), ontworpen om AI-bewerkingen te versnellen.
De capaciteit bereikt volgens de aankondigingen 256 TOPS in FP4, een numeriek formaat van vier bits dat wordt gebruikt om de rekensnelheid en geheugenkosten van bepaalde modellen te verminderen. Deze waarde houdt geen rekening met extrafactoren zoals sparsity of dispersie, technieken waarmee bepaalde berekeningen kunnen worden versneld door gebruik te maken van niet-veelvuldige waarden.
Het geheugen is een ander opvallend kenmerk. De chip ondersteunt configuraties tot 128 GB LPDDR5X, verbonden via een 256-bit bus die een bandwidth tot 273 GB/s biedt. Die waarde komt overeen met de geheugen- en bandbreedte specificaties van NVIDIA voor de 128 GB-versie van de DGX Spark. Het verschil is dat NVIDIA’s systeem gebruik maakt van coherente, gedeelde geheugenarchitectuur met de CPU Grace en GPU Blackwell, terwijl Axera een platform voor ogen heeft dat vooral gericht is op zijn neuronale versneller.
De AX8860 bevat ook PCIe 5.0-verbinding en een netwerkaansluiting tot 256 Gbps voor geclusterde configuraties, volgens de verstrekte specificaties. Deze verbinding zou het mogelijk maken om meerdere modules te koppelen en werk te verdelen tussen de chips.
Sipeed spreekt over een schaalbaarheid van circa 80% bij het combineren van vier units. In theorie zouden twee chips 512 TOPS behalen, en vier chips 1024 TOPS. Deze cijfers vertegenwoordigen de som van de berekeningscapaciteit, maar garanderen niet dat een model vier keer sneller zal draaien. Het daadwerkelijke resultaat hangt af van de werkverdeling, verkeer tussen apparaten en softwareondersteuning.
PCIe-kaarten, mini-PC’s en een routekaart naar 700 TOPS
Axera en haar partners overwegen verschillende formaten om de AX8860 aan ontwikkelaars aan te bieden. De eerste is een module met een verbruik van circa 40 W. Daarnaast is een PCIe-kaart met één sleuf getoond, met PCIe 5.0 x4-verbinding, netwerk- en beeldschirmaansluitingen, en een extra ventilator voor koeling.
De meest opvallende optie is een kaart met vier AX8860-chips in een compact één-sleuf formaat. Het ontwerp bevat een grote koeler en vier ventilatoren, en gebruikt een 8-pins voedingsaansluiting. Deze setup is bedoeld om meer rekenkracht te bieden in een systeem dat in een desktop of kleine werkstation kan worden geïnstalleerd.
Sipeed werkt ook aan systemen zoals MaixStation en andere mini-PC’s en handhelds gebaseerd op deze platformen. Volgens de informatie zou het bedrijf reserveringen openen voor enkele apparaten en ze naar verwachting in 2026 beschikbaar maken. Specifieke prijzen en levertijden voor verschillende configuraties zijn nog niet volledig bekend.
Wat software betreft, wordt compatibiliteit genoemd met tools zoals PyTorch, vLLM en SGLang. Dit wordt cruciaal voor ontwikkelaars: leistungsvermogen alleen is niet voldoende als modellen, bibliotheken en kwantisatiemethoden niet goed werken of extra aanpassingen vereisen.
De routekaart van Axera omvat ook toekomstige chips 8950 en 8970, met respectievelijk tot 500 TOPS en meer dan 700 TOPS. Dit zijn doelen voor latere producten; de daadwerkelijke prestaties en beschikbaarheid zullen afhangen van verdere ontwikkeling en commercialisering.
Prijs en werkelijke prestaties bepalen de concurrentie met NVIDIA
Een van de commerciële argumenten van Sipeed is dat apparaten op basis van de AX8860 mogelijk ongeveer de helft kosten van een NVIDIA DGX Spark. Deze vergelijking is echter nog beperkt: de gepubliceerde informatie vermeldt geen definitieve tarieven voor alle varianten van Axera en specificeert niet de systeemconfiguratie van NVIDIA als referentie.
De DGX Spark met 128 GB bevat het superchip GB10 Grace Blackwell, 128 GB gedeeld geheugen, een bandbreedte van 273 GB/s en een capaciteit tot een petaFLOP in FP4 met dispersie. NVIDIA biedt ook eigen softwarestack en tools voor het ontwikkelen, testen en uitvoeren van AI-modellen lokaal.
NVIDIA DGX Spark
+1
De AX8860 is op papier opvallend door het aangekondigde verbruik van slechts 40 W voor de module, de geheugenopslag tot 128 GB, en de mogelijkheid om meerdere chips te koppelen. Maar het vergelijken van dat verbruik met dat van een compleet systeem vereist het scheiden van de energievereisten van de module, de processor en het totaal onder belasting.
De test met Qwen 27B zal een belangrijke referentie zijn zodra reproduceerbare resultaten beschikbaar zijn. Om de genoemde 25% snellere prefill en 30% snellere decoding goed te kunnen beoordelen, moeten details worden bekendgemaakt zoals de modelversie, kwantisatie, contextgrootte, aantal gegenereerde tokens, gebruikte software en gemeten energieverbruik tijdens het werken.
Ook moet worden gekeken naar andere modellen en workloads. Een accelerator kan in één test goed scoren, maar heel anders presteren bij variërende modellen, lange contexten of gelijktijdige gebruikers. De rijpheid van stuurprogramma’s en gebruiksgemak voor modelimplementatie zijn net zo belangrijk als de hardware-specificaties.
Axera gebruikt inmiddels ook inference-processors voor edge-toepassingen en heeft een eigen platform voor neurale eenheden, compilatietools en ondersteuning voor taalmiddelen zoals Qwen en Llama. Deze ervaring biedt een goede basis voor het nieuwe product, maar blijft afhankelijk van onafhankelijke tests voor bevestiging dat het geschikt is voor het draaien van LLM’s op compacte systemen.
Axera Semiconductor Co., Ltd.
+1
De AX8860 wil vooral een energiezuinig alternatief bieden voor wie AI lokaal wil draaien. Als de prestaties, compatibiliteit en prijs daadwerkelijk worden bevestigd, kan het interessant zijn voor ontwikkelaars en kleinschalige labs. Voorlopig blijft de vergelijking met de DGX Spark vooral gebaseerd op door Sipeed gepubliceerde cijfers die nog onafhankelijke evaluaties vereisen.
Veelgestelde vragen
Hoe krachtig is de Axera AX8860?
Axera en Sipeed claimen tot 256 TOPS in FP4-precisie, met een geheugen van maximaal 128 GB LPDDR5X en een bandbreedte van 273 GB/s.
Verbruikt hij echt slechts 40 W?
De 40 W gelden voor de geadverteerde module. Het totale verbruik van een PCIe-kaart of gehele computer hangt ook af van de overige componenten en de belasting.
Is hij sneller dan de NVIDIA DGX Spark?
Sipeed beweert dat de AX8860 25% sneller is bij prefill en 30% sneller bij decoding met Qwen 27B. Deze resultaten moeten nog worden bevestigd door derden en geven geen volledige garantie dat dat voor alle modellen geldt.
Wat gaat de betaalbaarheid van systemen met de AX8860 worden?
De gepubliceerde informatie suggereert een prijs die ongeveer de helft is van die van de DGX Spark, maar exacte tarieven voor alle configuraties ontbreken nog.