AMD Introduce ROCm 6.4: Een Sprong Vooruit in AI en HPC Ondersteuning
AMD heeft de versie 6.4 van zijn ROCm (Radeon Open Compute) softwareplatform gepresenteerd. Deze update markeert een belangrijke stap voorwaarts voor ontwikkelaars en gebruikers die zich bezighouden met artificiële intelligentie (AI) en high-performance computing (HPC) op de AMD Instinct™ GPU’s. Met deze nieuwe versie versterkt het bedrijf zijn inzet voor een sneller, modularer en gemakkelijker beheersbaar ecosysteem, dat is afgestemd op de toenemende vraag naar prestaties en schaalbaarheid in de sector.
Geoptimaliseerde Containers voor Training en Inferentie
Eén van de kernpunten van ROCm 6.4 is de toevoeging van vooraf geoptimaliseerde containers voor de training en inferentie van grote taalmodellen (LLM). Deze containers zijn kant-en-klaar en elimineren de gebruikelijke complexiteit van het inrichten van aangepaste omgevingen.
Bij de belangrijkste containers zijn onder andere:
vLLM: Een inferentiecontainer voor modellen zoals Gemma 3, Llama, Mistral en Cohere, ontworpen voor lage latentie.
SGLang: Een geoptimaliseerde inferentiecontainer voor DeepSeek R1 en agent-gebaseerde workflows, met ondersteuning voor FP8, DeepGEMM en multi-head aandacht.
- PyTorch en Megatron-LM: Geoptimaliseerde trainingscontainers voor de GPU Instinct MI300X, met afstemming op geavanceerde modellen zoals Llama 3.1 en DeepSeek-V2-Lite.
Deze oplossingen stellen onderzoekers, ontwikkelaars en infrastructuuringenieurs in staat om snel toegang te krijgen tot reproduceerbare, stabiele en hoogwaardige omgevingen.
Versnelling van Training met Verbeteringen in PyTorch
ROCm 6.4 introduceert tevens opmerkelijke prestatieverbeteringen in PyTorch, met name wat betreft de aandachtmechanismen die worden gebruikt in LLM’s. De nieuwe versie bevat:
Flex Attention, dat de trainingstijden aanzienlijk verbetert en het geheugengebruik vermindert.
TopK, dat tot drie keer sneller is en de prestaties bij inferentietaken verbetert.
- SDPA (Scaled Dot-Product Attention), geoptimaliseerd voor lange contexten.
Deze verbeteringen maken het mogelijk om grotere modellen efficiënter te trainen, met lagere reiskosten en hogere snelheden.
Nieuwe Generatie Inferentie met vLLM en SGLang
De nieuwe versie versterkt ook de inferentie op grote schaal, met lage responstijden en hoge prestaties voor geavanceerde modellen zoals Llama 3.1 (8B, 70B, 405B), Gemma 3 en DeepSeek R1. In interne tests heeft de container SGLang een recordprestatie behaald op de GPU Instinct MI300X met DeepSeek R1, terwijl vLLM directe ondersteuning biedt voor de uitrol van Gemma 3 in productieomgevingen.
De containers, die wekelijks of tweewekelijks worden bijgewerkt, waarborgen stabiliteit en operationele continuïteit in productieomgevingen.
Geautomatiseerd Beheer van GPU Clusters met AMD GPU Operator
Om het beheer van complexe infrastructuren te vergemakkelijken, bevat ROCm 6.4 verbeteringen aan de AMD GPU Operator, een tool die taken automatiseert zoals stuurprogramma-updates, GPU-toewijzing in Kubernetes-clusters en real-time monitoring.
De nieuwe functies omvatten:
Automatische updates zonder onderbrekingen (cordon, drain, reboot).
Uitgebreide ondersteuning voor Red Hat OpenShift 4.16–4.17 en Ubuntu 22.04/24.04.
- Export van metrics met Prometheus voor het volgen van de status van GPU’s.
Dit stelt IT-teams in staat om operationele risico’s te verminderen en een veerkrachtigere infrastructuur te waarborgen.
Modulaire Architectuur met de Nieuwe Instinct GPU Driver
Ten slotte presenteert ROCm 6.4 een nieuwe GPU-driver met een modulaire architectuur, die de driver scheidt van de kernelruimte van ROCm. Deze noviteit biedt:
Meer flexibiliteit in de afzonderlijke componentupdates.
Een compatibiliteitsvenster dat is uitgebreid tot 12 maanden.
- Betere integratie met bare metal omgevingen, containers en applicaties van derden.
Deze modulariteit vereenvoudigt het beheer op grote schaal, vooral voor cloudservices, overheidsinstanties en bedrijven met hoge stabiliteitsvereisten.
Met ROCm 6.4 versterkt AMD zijn inzet voor het ontwikkelen van krachtige tools voor AI en HPC, en biedt het onderzoekers, ontwikkelaars en infrastructuurbeheerders een krachtiger, flexibeler en schaalbaarder platform om de actuele technologische uitdagingen aan te gaan.