Arm, het bekende chipontwerpbedrijf, heeft belangrijke vooruitgang aangekondigd in zijn missie om de ontwikkeling van kunstmatige intelligentie (KI) en machine learning (ML) toepassingen op Arm-gebaseerde apparaten te vergemakkelijken. Het bedrijf werkt nauw samen met cloud service providers en toonaangevende frameworks om een omgeving te creëren die het proces van door KI versnelde softwareontwikkeling op Arm hardware vereenvoudigt.
Kleidi: De sleutel tot KI-prestaties op Arm
Het hart van dit initiatief is Arm Kleidi, een technologie die de nieuwste ontwikkeltools en kritieke bronnen samenbrengt om technische samenwerking en innovatie op het gebied van machine learning te stimuleren. Sinds de lancering slechts vier maanden geleden, versnelt Kleidi al de ontwikkeling en ontgrendelt het belangrijke verbeteringen in KI-prestaties op Arm-CPU’s.
Integratie met toonaangevende frameworks
Arm heeft nauw samengewerkt met de PyTorch-gemeenschap om Kleidi-bibliotheken rechtstreeks in het framework te integreren. Dit stelt applicatieontwikkelaars in staat om automatisch te profiteren van dramatische prestatieverbeteringen zodra er nieuwe versies van het framework worden uitgebracht, zonder de noodzaak voor extra stappen.
De resultaten van deze integratie zijn opmerkelijk:
- Een demochatbot van Arm, aangedreven door Meta’s Llama 3-taalmodel en draaiend op AWS Graviton-processors, bereikte voor het eerst realtime-chatantwoorden in PyTorch.
- Er werd een 2,5 keer snellere tijd gemeten voor het genereren van het eerste token na integratie van Kleidi-technologie in de PyTorch-broncode, gemeten op AWS Graviton4.
- Door het toepassen van optimalisaties op torch.compile om efficiënt gebruik te maken van Kleidi-technologie, werden prestatiewinsten van 1,35 tot 2 keer behaald op een reeks van modelinferentietaken van Hugging Face, gemeten op AWS Graviton3.
Strategische samenwerkingen
Arm werkt nauw samen met cloud serviceproviders zoals AWS en Google, evenals met de groeiende gemeenschap van onafhankelijke softwareleveranciers (ISV’s) voor machine learning, zoals Databricks. Het doel is om te zorgen dat ontwikkelaars kunnen bijblijven met de snelle evolutie van generatieve KI.
Verbeteringen in prestaties op het edge
Naast de vooruitgang in de cloud, heeft Arm aangekondigd dat KleidiAI zal worden geïntegreerd in ExecuTorch, de nieuwe runtime voor inferentie op PyTorch-edgeapparaten. Deze integratie is gepland om te worden voltooid in oktober 2024 en belooft spannende prestatieverbeteringen voor edgetoestellen in een breed scala van toepassingen.
De toekomst van KI-ontwikkeling op Arm
Alex Spinelli, recent benoemd tot lid van de raad van bestuur van PyTorch, leidt de missie van Arm om ontwikkelaars over de hele wereld te empoweren bij het creëren van state-of-the-art KI-mogelijkheden en applicaties, door gebruik te maken van het volledige potentieel van end-to-end KI op Arm.
Met deze initiatieven blijft Arm zich inzetten om de ervaring van de ontwikkelaar zo soepel mogelijk te maken, ongeacht waar ze zijn in de machine leerstack. Het bedrijf doet het zware werk zodat ontwikkelaars zich kunnen concentreren op innovatie en het bouwen van de volgende generatie KI-applicaties.
via: ARM news