Nieuwe Arm-extensie brengt AI naar smartphones
Arm kondigt doorbraak aan voor AI op mobiele apparaten met de Scalable Matrix Extension 2 (SME2)
Arm heeft een significante stap gezet richting de democratisering van kunstmatige intelligentie (AI) op mobiele apparaten met de introductie van de Scalable Matrix Extension 2 (SME2). Deze belangrijke evolutie binnen de Armv9 architectuur stelt ontwikkelaars in staat om geavanceerde AI-functies, zoals beeldherkenning, natuurlijke taalverwerking en spraakgeneratie, direct op smartphones te integreren. Dit alles zonder dat er aanpassingen aan de app-code nodig zijn.
Vanaf het verbeteren van een foto vlak voor het maken van de opname tot het filteren van achtergrondgeluiden tijdens telefoongesprekken, verandert AI op apparaat de mobiele ervaring. De uitdaging was echter om deze real-time prestaties te leveren zonder de batterij uit te putten, oververhitting te veroorzaken of het ontwikkelproces te complica. Hier komt SME2 in beeld.
SME2: Een nieuwe era voor mobiele CPU-inferentie
SME2 is ontwikkeld om matrixladingen, die cruciaal zijn voor generatieve modellen en computervisie, rechtstreeks op de mobiele CPU te versnellen. In tegenstelling tot andere oplossingen die volledig afhankelijk zijn van GPU’s of NPU’s, is SME2 onderdeel van een heterogene aanpak die AI-taken intelligent verdeelt over verschillende rekenunits.
Het belangrijkste voordeel van SME2 is de transparante toegankelijkheid: dankzij KleidiAI hoeven ontwikkelaars geen enkele regel code te wijzigen. Deze versnellingslaag wordt automatisch geïntegreerd in populaire bibliotheken zoals Google XNNPACK, MediaPipe, ONNX Runtime, Alibaba MNN, LiteRT, en zelfs llama.cpp. Wanneer SME2 is ingeschakeld in de hardware, worden intensieve operaties automatisch naar deze laag geleid.
“SME2 maakt de uitvoering van geavanceerdere AI-modellen, zoals Gemma 3, mogelijk op een breed scala aan apparaten. Dit komt de eindgebruiker ten goede met laagdrempelige ervaringen met lage latentie, beschikbaar op elke smartphone.”
— Iliyan Malchev, software-engineer bij Android (Google)
Concrete resultaten: zes keer snellere reacties
Bij tests met apparaten met ingeschakelde SME2, behaalde het model Gemma 3 van Google tot zes keer snellere reacties in conversaties vergeleken met hetzelfde apparaat zonder SME2. Bovendien kan het, met deze versnelling op een enkele CPU, in minder dan een seconde een samenvatting van een tekst van 800 woorden voorstellen, wat aantoont dat hoogwaardige inferentie het gebruik van de cloud niet meer nodig heeft.
Een belangrijke onafhankelijke softwareleverancier (ISV) heeft aangekondigd dat ze het grootste deel van hun token-generatie van de cloud naar mobiele apparaten zal verplaatsen, gestimuleerd door deze prestatieverbeteringen.
SME2 op Android en iOS: een ecosysteem van meer dan 9 miljoen apps
Hoewel SME2 eerst beschikbaar zal zijn op nieuwe Android-apparaten die binnenkort worden gelanceerd, is het al beschikbaar op de nieuwste iOS-apparaten. Arm benadrukt dat de impact breed zal zijn, met meer dan 22 miljoen ontwikkelaars en 9 miljoen actieve applicaties op platforms die op hun ontwerpen zijn gebaseerd.
Dit betekent ook een grotere portabiliteit en energie-efficiëntie in een context waarin ontwikkelaars moeten optimaliseren voor verschillende apparaten, thermische budgetten en energieverbruik, zonder concessies te doen aan prestaties.
Advies van Arm: bereid je vandaag voor, win morgen
Arm adviseert mobiele ontwikkelaars om ervoor te zorgen dat hun apps zijn gebaseerd op frameworks die compatibel zijn met KleidiAI, zodat ze automatisch kunnen profiteren van toekomstige versnellingsmogelijkheden zoals SME2, zodra deze op de hardware zijn geïmplementeerd. Het is niet nodig om de code opnieuw te schrijven of modellen aan te passen: KleidiAI regelt alles.
Bovendien heeft het bedrijf een Developer Launchpad gelanceerd, een omgeving met bronnen en praktische voorbeelden zodat mobiele ontwikkelaars vanaf vandaag kunnen profiteren van de voordelen van SME2 en klaar zijn om AI-functionaliteiten van de nieuwste generatie te implementeren zodra de apparaten deze ondersteunen.
Nativiteit van AI, extreme prestaties, ongewijzigde code
Met SME2 optimaliseert Arm niet alleen de uitvoering van AI-modellen op mobiele CPU’s, maar biedt het ook een duidelijke strategie om generatieve, gepersonaliseerde en real-time AI standaard te maken in toekomstige apps. Dit alles zonder de logica van de applicaties aan te passen of de gebruikerservaring in gevaar te brengen.
In een wereld waar elke seconde telt en elke milliwatt belangrijk is, toont Arm aan dat de sleutel tot de toekomst niet alleen kracht is, maar ook hoe deze op een intelligente manier wordt ingezet. SME2 en KleidiAI wijzen de weg.