Google Cloud Introduce Ironwood: De Zevende Generatie TPU’s en Nieuwe Axion-Instellingen

Google Cloud heeft zijn nieuwste innovatie, Ironwood, onthuld, de zevende generatie Tensor Processing Units (TPU’s), samen met nieuwe ARM Neoverse gebaseerde Axion-instanties. De N4A-instelling is momenteel in preview, terwijl de C4A metal-instelling binnenkort ook in preview wordt gelanceerd. Deze stap bevestigt een belangrijke verschuiving in de wereld van Kunstmatige Intelligentie (AI): van de focus op training naar de noodzaak van snelle, kosteneffectieve en georchestreerde inferenties.

Ironwood: Een Ontwikkeling voor Massale Inferentie

Ironwood wordt gepresenteerd als de meest krachtige en efficiënte TPU van Google tot nu toe. De verbeteringen zijn aanzienlijk: tot 10 keer betere piekprestatie in vergelijking met de TPU v5p en meer dan 4 keer de chipprestatie in zowel training als inferentie ten opzichte van de TPU v6e (Trillium). Dit benadrukt de noodzaak van verbeterde bandbreedte, effectieve geheugen en chipconnectiviteit voor grootschalige generatieve modellen en agenten.

De architectuur van Ironwood is ontworpen met een “systeem eerst”-benadering. Ongerepte TPU’s worden samengevoegd in pods, en deze pods worden op hun beurt verbonden in superpods via een Inter-Chip Interconnect (ICI) die tot 9,6 Tb/s kan bereiken. Dit stelt superpods in staat om tot 9.216 TPU’s te bundelen in een enkele omgeving met 1,77 PB aan gedeeld HBM-geheugen, wat de knelpunten voor grote modellen vermindert.

Axion: Efficiënte CPU’s Voor Alledaagse Taken

Naast Ironwood introduceert Google Cloud de Axion-lijn van ARM Neoverse CPU’s. De eerste twee modellen zijn de N4A en de C4A metal. De N4A biedt tot 64 vCPU’s, 512 GB aan DDR5-geheugen en 50 Gbps netwerkcapaciteit en richt zich op microservices en data-analyse. De C4A metal, die binnenkort beschikbaar komt, biedt nog krachtigere specs, met tot 96 vCPU’s en 768 GB aan DDR5-geheugen, ideaal voor toepassingen die vereisen dat ze zich aan strikte licentie-eisen houden.

Marktverwezenlijkingen: van Anthropic tot Essential AI

De vroege signalen uit de markt zijn positief. Bedrijven zoals Anthropic, die zijn Claude-familie uitbreidt, plannen de toegang tot tot 1.000.000 TPU’s via Ironwood. Lightricks benadrukt de voordelen in beeld- en videokwaliteit voor creatieve producten, terwijl Essential AI de eenvoud van integratie in zijn platform benadrukt.

De Toekomst van AI Infrastructuur

De combinatie van Ironwood en Axion biedt een robuuste oplossing voor de behoefte aan kwaliteit en kostenbeheersing in de AI-sector. Terwijl Ironwood zich richt op de uitdagingen van het bedienen van grote modellen, biedt Axion de rekenkracht die nodig is voor alledaagse taken die essentieel zijn voor de werking van bedrijfssystemen.

De ontwikkelingen van Google Cloud benadrukken niet alleen de technologische vooruitgang, maar ook de veranderende behoeften van bedrijven die AI willen integreren. De sleutel tot succes zal liggen in hoe effectief organisaties deze nieuwe technologieën kunnen inzetten om schaalbaarheid, prestaties en kosten efficiënt te beheren.

In een wereld waar de druk om efficiëntie en effectiviteit steeds toeneemt, stelt Google Cloud met Ironwood en Axion organisaties in staat om hun processen te optimaliseren en concurrerend te blijven in de snel evoluerende AI-markt.