Red Hat en samenwerking met AMD: Optimalisatie van Generatieve AI en Hybride Infrastructuur
Tijdens de Red Hat Summit hebben Red Hat en AMD een uitbreiding van hun strategische samenwerking aangekondigd. Het doel is om efficiëntere oplossingen voor generatieve AI te bieden en virtualiseerde infrastructuren in hybride omgevingen te moderniseren. Door de combinatie van de open technologieën van Red Hat met de kracht van AMD EPYC-processoren en AMD Instinct GPU’s, willen de bedrijven zowel de prestaties als de schaalbaarheid van steeds diversere en veeleisendere workloads optimaliseren.
AMD Instinct en Red Hat OpenShift AI: Geoptimaliseerde Inferentie in de Hybride Cloud
Een van de belangrijkste aankondigingen was de volledige integratie van de AMD Instinct GPU’s in Red Hat OpenShift AI. Dit stelt organisaties in staat om AI-modellen efficiënter te implementeren zonder extreme middelen. In testen op Microsoft Azure hebben Red Hat en AMD aangetoond dat het mogelijk is om taalmodellen (SLM en LLM) binnen een enkele virtuele machine met meerdere GPU’s op te schalen, waardoor de kosten worden verlaagd door het vermijden van fragmentatie van middelen tussen verschillende VM’s.
Met behulp van de AMD Instinct MI300X GPU’s en het Red Hat Enterprise Linux AI-platform heeft de samenwerking een robuuste, efficiënte en compatibele inferentieomgeving gecreëerd.
Samenwerking aan vLLM: Efficiëntere IA-Inferentie met AMD GPU’s
Beide bedrijven hebben ook hun gezamenlijke inspanningen aangekondigd in het vLLM-ecosysteem (gevectoriseerde LLM), met directe bijdragen aan het upstream-project om de inferentie van taalmodellen te versnellen. Onder de aangekondigde verbeteringen zijn:
- Prestatieverbeteringen op AMD GPU’s door integratie van de AMD kernel library, optimalisatie van de Triton-kernel en ondersteuning van FP8 voor dichte en gekwantiseerde modellen.
- Verbeterde ondersteuning voor multi-GPU-systemen, wat een schaalbaardere en energiezuinigere uitvoering in gedistribueerde omgevingen mogelijk maakt.
- Uitbreiding van het vLLM-ecosysteem, met deelname van andere partijen zoals IBM, die de continue ontwikkeling van het project en de compatibiliteit met AMD-hardware versterken.
Als resultaat van deze samenwerking zullen de AMD Instinct GPU’s natively de Red Hat AI Inference Server ondersteunen, de enterprise-distributie van vLLM, die de uitvoering van open-source modellen op gevalideerde en geoptimaliseerde hardware vergemakkelijkt.
EPYC en OpenShift Virtualization: Frictieloos Moderniseren
Red Hat benadrukte ook de validatie van Red Hat OpenShift Virtualization voor AMD EPYC-processoren. Dit stelt organisaties in staat om workloads van virtuele machines en containers op één cloud-native platform te unificeren. Deze capaciteit is cruciaal voor het bijwerken van traditionele datacenters, het consolideren van infrastructuren en het verlagen van de TCO (totale kosten van eigendom) op het gebied van hardware, licenties en energie.
AMD EPYC positioneert zich als het ideale platform voor het hosten van GPU-compatibele systemen, waardoor de ROI zelfs voor veeleisende AI-workloads verbetert. Onder de compatibele servers bevinden zich oplossingen van Dell PowerEdge, HPE ProLiant en Lenovo ThinkSystem.
Officiële Verklaringen
Ashesh Badani, senior vice president en hoofd product bij Red Hat, zei:
“Echte voordelen van AI benutten vereist flexibiliteit en schaalbaarheid. Deze samenwerking met AMD breidt de mogelijkheden uit om infrastructuren te moderniseren en productieomgevingen voor te bereiden met de nieuwste acceleratoren en open-source technologieën.”
Philip Guido, commerciële directeur van AMD, voegde hieraan toe:
“De combinatie van de open platformen van Red Hat met onze Instinct GPU’s en EPYC CPU’s biedt de prestaties en efficiëntie die onze klanten nodig hebben om innovatie in AI, virtualisatie en hybride cloud te versnellen.”
VIA: AMD