AMD (NASDAQ: AMD) heeft vandaag nieuwe versnellers en netwerkoplossingen aangekondigd die de volgende generatie van grootschalige kunstmatige intelligentie infrastructuur zullen aandrijven: de AMD Instinct™ MI325X versnellers, de AMD Pensando™ Pollara 400 NIC en de AMD Pensando Salina DPU. Deze nieuwe technologieën stellen een nieuwe norm voor superieure prestaties voor AI-modellen en geavanceerde datacenters.
De AMD Instinct MI325X versnellers, gebaseerd op de AMD CDNA™ 3 architectuur, zijn ontworpen om uitzonderlijke prestaties en efficiëntie te bieden voor AI-taken, zoals het trainen, finetunen en inferentie van basismodellen. Samen stellen deze producten AMD-klanten en -partners in staat om geoptimaliseerde en hoogpresterende AI-oplossingen op systeem-, rek- en datacenterniveau te ontwikkelen.
Forrest Norrod, Executive Vice President en General Manager van de Data Center Solutions Group bij AMD, verklaarde: “AMD blijft onze routekaart volgen, onze klanten voorzien van de prestaties die ze nodig hebben en de flexibiliteit die ze zoeken om AI-infrastructuur op schaal sneller op de markt te brengen. Met de nieuwe AMD Instinct versnellers, EPYC processoren en AMD Pensando netwerkoplossingen, samen met ons open software-ecosysteem, versterkt AMD zijn cruciale ervaring in het ontwikkelen en implementeren van wereldklasse AI-oplossingen.”
AMD Instinct MI325X leidt tot toonaangevende AI-prestaties
De AMD Instinct MI325X versnellers bieden toonaangevende geheugencapaciteit en bandbreedte in de branche, met 256 GB HBM3E ondersteuning van 6,0 TB/s, die 1,8 keer meer capaciteit en 1,3 keer meer bandbreedte biedt dan H2001. AMD Instinct MI325X levert ook 1,3 keer meer theoretische maximale FP16 en FP8-prestaties dan H200.
Dit geheugen- en berekeningsleiderschap kan tot 1,3 keer de FP16-inferentieprestatie van Mistral 7B, 1,2 keer de FP8-inferentieprestatie met Llama 3.1 70B en 1,4 keer de FP16-inferentieprestatie met Mixtral 8x7B bieden in vergelijking met H200.
AMD Instinct MI325X is op schema voor productieverzendingen in het vierde kwartaal van 2024 en wordt verwacht met een brede beschikbaarheid van systemen van een brede reeks platformaanbieders, waaronder Dell Technologies, Eviden, Gigabyte, Hewlett Packard Enterprise, Lenovo, Supermicro en anderen te beginnen vanaf het eerste kwartaal van 2025.
Voortbouwend op zijn toewijding aan een jaarlijkse cadans, heeft AMD de volgende generatie van AMD Instinct MI350-serie versnellers geïntroduceerd. Gebaseerd op de AMD CDNA 4-architectuur, zijn de AMD Instinct MI350-serie versnellers ontworpen om een 35-voudige verbetering in inferentieprestaties te bieden in vergelijking met versnellers gebaseerd op AMD CDNA 3.
AMD Instinct MI350-serie zal de geheugencapaciteit blijven leiden met tot 288 GB HBM3E-geheugen per versneller. De AMD Instinct MI350-serie versnellers zijn op weg om beschikbaar te zijn in de tweede helft van 2025.
Next-Gen AI-netwerken van AMD
AMD benut de meest verspreide programmeerbare DPU voor hyperscalers om AI-netwerken van de volgende generatie aan te drijven. Verdeeld in twee delen: het frontend, dat gegevens en informatie aan een AI-cluster levert, en het backend, dat de gegevensoverdracht tussen versnellers en clusters beheert, is het AI-netwerk cruciaal om ervoor te zorgen dat de CPU’s en versnellers efficiënt worden gebruikt in de AI-infrastructuur.
Om deze twee netwerken effectief te beheren en hoge prestaties, schaalbaarheid en efficiëntie door het hele systeem te stimuleren, heeft AMD de AMD Pensando™ Salina DPU voor het frontend en de AMD Pensando™ Pollara 400, de eerste AI NIC voorbereid voor het Ultra Ethernet Consortium (UEC) in de industrie, voor het backend geïntroduceerd.
De AMD Pensando Salina DPU is de derde generatie van ’s werelds krachtigste en meest programmeerbare DPU, die de prestaties, bandbreedte en schaal verdubbelt in vergelijking met de vorige generatie. De AMD Pensando Salina DPU, die een 400G-prestatie ondersteunt voor snelle gegevensoverdracht, is een fundamenteel onderdeel in de frontend AI-netwerkclusters, die de prestaties, efficiëntie, beveiliging en schaalbaarheid van gegevensgestuurde AI-toepassingen optimaliseren.
De AMD Pensando Pollara 400, voorbereid voor UEC en aangedreven door de AMD P4 programmeerbare motor, is de eerste AI NIC voorbereid voor UEC in de industrie. Het ondersteunt de volgende generatie RDMA-software en wordt ondersteund door een open netwerkecosysteem. De AMD Pensando Pollara 400 is essentieel voor het leveren van prestaties op leiderschapsniveau, schaalbaarheid en efficiëntie van accelerator-naar-accelerator communicatie in backend-netwerken.
Zowel de AMD Pensando Salina DPU als de AMD Pensando Pollara 400 zullen in het vierde kwartaal van 2024 beschikbaar worden gesteld voor klanten en naar verwachting in de eerste helft van 2025 beschikbaar zijn.
AMD AI-software biedt nieuwe mogelijkheden voor generatieve AI
AMD blijft investeren in het stimuleren van software en het open ecosysteem, om nieuwe en krachtige functies en capaciteiten te bieden in de AMD ROCmâ„¢ open software stack. Binnen de open softwaregemeenschap bevordert AMD de compatibiliteit met de AMD-computingmotoren in de meest gebruikte AI-frameworks, bibliotheken en modellen, inclusief PyTorch, Triton, Hugging Face en vele andere. Dit werk resulteert in out-of-the-box prestaties en ondersteuning met de AMD Instinct versnellers voor populaire generatieve AI-modellen zoals Stable Diffusion 3, Meta Llama 3, 3.1 en 3.2 en meer dan een miljoen modellen op Hugging Face.
Verder dan de gemeenschap blijft AMD vooruitgang boeken in zijn open ROCm software stack, met de nieuwste functies om de toonaangevende training en inferentie in generatieve AI-werklasten te ondersteunen. ROCm 6.2 bevat nu ondersteuning voor kritieke AI-data types zoals FP8, Flash Attention 3, Kernel Fusion en meer. Met deze nieuwe toevoegingen biedt ROCm 6.2, in vergelijking met ROCm 6.0, tot 2,4 keer meer prestaties in inferentie en 1,8 keer in training voor diverse LLM’s.