Oracle heeft de algemene beschikbaarheid aangekondigd van zijn nieuwe Oracle Cloud Infrastructure (OCI) supercluster, uitgerust met de krachtige Nvidia H200 GPU’s. Dit supercluster, dat kan opschalen tot 65.536 H200 GPU’s, belooft een ongekende prestatie voor kunstmatige intelligentie (AI) toepassingen, met een piekprestatie tot 260 exaflopsEen exaflop is een meeteenheid in supercomputing die … in FP8 precisie, volgens wat het bedrijf heeft medegedeeld.
De grootste cloud-gebaseerde AI infrastructuur
Oracle verklaart dat dit supercluster momenteel de grootste cloud-gebaseerde supercomputer voor AI is. Elke computerinstantie binnen het supercluster biedt 76% meer high-speed geheugen en 40% meer bandbreedteBandbreedte is de maximale overdrachtscapaciteit van … van het geheugen in vergelijking met de H100 instanties, wat de inferentie prestaties in grote taalmodellen (LLM) verbetert tot wel 1,9 keer.
Het systeem heeft een op maat gemaakte cluster netwerk gebaseerd op RDMA over Convergent Ethernet Versie 2 (RoCE v2), met gebruik van de Nvidia ConnectX-7 netwerkinterfacekaarten. Deze architectuur maakt koppelingen tussen GPU’s mogelijk tot 400 Gbps, terwijl zijn front-end netwerk van 200 Gbps zorgt voor efficiënte overdracht van grote datasets tussen de opslag en de GPU’s.
Elke bare metal instantie is uitgerust met acht Nvidia H200 GPU’s met 141 GB aan HBM3e geheugen, samen met twee 56-core Intel Sapphire Rapids 8480+ CPU’s.
Betaalbare kosten en verbeterde prestaties
Oracle houdt vast aan zijn concurrerende prijsbeleid: 10 dollar per GPU per uur, dezelfde kosten als de instanties met H100. Dit biedt bedrijven een betaalbaardere toegang tot een state-of-the-art AI infrastructuur.
Het supercluster overtreft ook zijn voorganger H100, die kon opschalen tot 16.384 GPU’s, waardoor het een ideale optie wordt voor massieve werklasten zoals het trainen en de inferentie van de nieuwste generatie AI-modellen.
Kijkend naar de toekomst: Nvidia Blackwell
In september 2024 onthulde Oracle zijn plannen voor de bouw van een nog geavanceerder supercluster, dat zal beschikken over tot 131.072 Nvidia Blackwell GPU’s, gepland om gelanceerd te worden in de eerste helft van 2025. Deze ontwikkeling vertegenwoordigt Oracle’s voortdurende inzet om innovatie te leiden in cloud computing voor AI.
Een sprong naar de volgende generatie van AI
Het Oracle supercluster met Nvidia H200 herdefinieert de limieten van cloud computing voor kunstmatige intelligentie applicaties. Dankzij zijn schaalbare prestaties en concurrerende kosten, positioneert het zich als een essentieel hulpmiddel voor bedrijven die AI willen gebruiken om complexe problemen op te lossen, van data-analyse tot het genereren van geavanceerde taalmodellen.
Met deze infrastructuur biedt Oracle niet alleen een antwoord op de huidige eisen voor massale verwerking, maar legt het ook de basis voor toekomstige vooruitgang in AI en high-performance computing.
via: DCD