Oracle Introduce Nieuwe Bare Metal Instances in OCI Met AMD Instinct™ MI355X GPUs
Oracle heeft de algemene beschikbaarheid aangekondigd van zijn nieuwe bare metal instances in de Oracle Cloud Infrastructure (OCI), gebaseerd op de krachtige AMD Instinct™ MI355X. Deze generatie volgt op de MI300X en biedt meer HBM3e-geheugen, hogere bandbreedte en nieuwe precisies FP4/FP6/FP8, mogelijk gemaakt door de CDNA 4-architectuur. Met deze lancering claimt Oracle de eerste hyperscaler te zijn die MI355X publiekelijk aanbiedt en de enige die zowel MI355X als MI300X in zijn aanbod combineert.
Wat de MI355X Bijdraagt ten Opzichte van de Vorige Generatie
- Geheugen en bandbreedte per GPU: 288 GB HBM3e (+50%) en 8 TB/s bandbreedte (+51%).
- Precisie en prestaties: Ondersteuning voor FP4/FP6/FP8 in CDNA 4 en een verbetering van ongeveer 2,5× in FP8/FP16 ten opzichte van de vorige generatie (CDNA 3).
- Systeemresources (per server): 128-core AMD EPYC 5e generatie CPU, 3 TB DDR5, 2,3 TB HBM3e (8×288 GB) en 61,44 TB lokale NVMe-opslag (+100%).
- Netwerk en schaalbaarheid: 400 Gbps front-end netwerk (×4) en vloeistofgekoelde racks die tot 64 GPU’s per behuizing schalen; 3.200 Gbps cluster netwerk voor gedistribueerde training.
De Nieuwe Bare Metal Instance van OCI (BM.GPU.MI355X.8)
- Naam: BM.GPU.MI355X.8
- Versnellers: 8× AMD Instinct™ MI355X (288 GB per GPU).
- Geaggregeerd GPU-geheugen: 2,3 TB HBM3e.
- CPU/RAM van het systeem: 128 cores AMD EPYC 5e generatie + 3 TB DDR5.
- Lokale opslag: 61,44 TB.
- Netwerk: 400 Gbps (front-end) + 3.200 Gbps (cluster).
- Prijs: vanaf 8,60 $/uur (volgens Oracle).
Doelgebruik: Training van LLM’s en grote multimodale modellen, real-time inferentie van agents en MoE, lange contexttaken (RAG, samenvattingen) en HPC (CAE, CFD, digitale tweelingen, genomica, klimaat, financiën, GNN).
Zettascale in de Cloud: Tot 131.072 GPUs en Ultra Lage Latentie RDMA
Oracle herinnerde eraan dat zijn OCI Supercluster Zettascale – de basis voor het grootschalige AI-trainings ecosysteem van het bedrijf – tot 131.072 GPUs kan schalen met een ultra-lage latentie RDMA netwerk, wat het positioneert als de grootste “supercomputer” voor AI in de cloud. In dit geheel biedt de MI355X ongeveer 3× meer rekenkracht en +50% meer HBM-geheugen in vergelijking met de vorige generatie, wat de time-to-train en efficiëntie van gedistribueerde jobs versnelt.
Open Ecosysteem (ROCm) en Compatibiliteit
De MI355X-instances in OCI zijn gebaseerd op ROCm™, AMD’s open computing platform. Naast standaard frameworks zoals PyTorch, TensorFlow, ONNX Runtime, Triton, benadrukken AMD/Oracle migratieroutes van CUDA naar ROCm om de overstap zonder ingrijpende herschrijvingen te vergemakkelijken.
Klantcases
Absci (biotech): Versnelt het ontdekken van geneesmiddelen met generatieve AI. Rapporteert 2,5 µs inter-GPU latentie, throughput in de orde van TB/s en geen hypervisor overhead in OCI.
Seekr (verklaarbare AI): Een meerjarige overeenkomst om nieuwe generatie modellen en agents wereldwijd op OCI + AMD te trainen, met een focus op multinode compute density en internationale aanwezigheid.
Waarom Dit Belangrijk Is
Geheugen en bandbreedte: De 288 GB HBM3e per GPU en 8 TB/s bieden ruimte voor langere contexten, grotere batches en minder offloading naar het systeem, essentieel voor MoE en RAG.
Kosten/prestatie: Een instapprijs van 8,60 $/uur voor een bare metal instance met 8 MI355X GPUs is een agressieve zet in een markt die onder druk staat door beschikbaarheid en kosten van GPU’s.
Schaal: De combinatie van netwerking (400 Gbps FE / 3,2 Tbps cluster), vloeistofgekoelde racks en Zettascale wijst op grote, stabiele clusters voor de overgang van POC’s naar geindustrialiseerde AI.
Hoe te Beginnen
De BM.GPU.MI355X.8 instances zijn nu beschikbaar voor aanvraag in OCI en zullen in de tweede helft van het komende kalenderjaar verschijnen, geïntegreerd in Oracle’s AI-infrastructuur samen met MI300X. Oracle heeft aanvullende bronnen gepubliceerd in het kader van Oracle AI World 2025 met productdetails, keynotes en technische documentatie.