NVIDIA heeft onlangs zijn B200-chip voor kunstmatige intelligentie (KI) toepassingen onthuld, een stukje technologie dat belooft het landschap van geavanceerde computing te transformeren. Aangekondigd in maart van dit jaar, profileert de B200 zich als een echt technologisch monster met eigenschappen die de verwachtingen van zelfs de meest optimistische experts in de sector overtreffen.
De B200-chip heeft indrukwekkende specificaties, waaronder 208 miljard transistors, de nieuwste generatie Blackwell-architectuur en een maximale prestatie van 20 petaFLOPS in FP4-operaties wanneer het met vloeistofkoeling wordt gebruikt. Bovendien ondersteunt het een geheugenkaart tot 192 GB VRAM en bereikt het een bandbreedteBandbreedte is de maximale capaciteit van gegevensoverdracht… van 8 TB/s, waarmee nieuwe normen voor verwerkingscapaciteit voor KI-taken worden gesteld.
Ondanks deze opmerkelijke specificaties heeft het Amerikaanse ministerie van Handel, onder leiding van Gina Raimondo, beperkingen opgelegd aan NVIDIA, waardoor de verkoop van deze GPU in China wordt beperkt vanwege de hoge prestaties. Desalniettemin heeft NVIDIA bevestigd dat de massaproductie van de B200-chip zal beginnen in het vierde kwartaal van 2024, met de eerste leveringen gepland voor eind dit jaar.
De productie van de B200-chip was niet zonder problemen. NVIDIA gaf toe dat het aanzienlijke uitdagingen heeft ondervonden in het productieproces, wat het bedrijf ertoe dwong sommige lagen van de chip opnieuw te ontwerpen om de prestaties te verbeteren. “We moesten een verandering in het masker van de Blackwell GPU aanbrengen om de productieprestaties te verbeteren”, verklaarde NVIDIA in een officiële verklaring.
Toch lijken deze aanpassingen resultaat te hebben opgeleverd. Volgens de voorlopige gegevens gepubliceerd door NVIDIA, verviervoudigt de B200-chip de prestaties van zijn voorganger, de H100 GPU gebaseerd op de Hopper microarchitectuur. In tests uitgevoerd met MLPerf 4.1, toonde de B200 een prestatie van 10.755 tokens per seconde bij inferenties en 11.264 tokens per seconde bij offline benchmarktests, wat zijn ongeëvenaarde vermogen in de markt onderstreept.
De B200 zal worden geïntegreerd in het NVIDIA DGX B200-platform, dat revolutionaire prestaties biedt met zijn configuratie van acht onderling verbonden Blackwell GPU’s met behulp van de vijfde generatie NVIDIA NVLink. Dit platform kan grote taalmodellen, aanbevelingssystemen en chatbots beheren, waardoor de trainingsprestaties met een factor drie en de inferentieprestaties met een factor 15 toenemen in vergelijking met vorige generaties.
De DGX B200 is uitgerust met 1440 GB GPU-geheugen en bereikt een prestatie van 72 petaFLOPS in training en 144 petaFLOPS in inferentie. Met een energieverbruik van ongeveer 14,3 kW, bevat het platform Intel Xeon Platinum-processors, NVMe-opslag en een robuuste netwerkondersteuning, inclusief InfiniBand en Ethernet tot 400 Gb/s.
Gedetailleerde specificaties van NVIDIA DGX B200:
- Grafische Kaart (GPU): 8 NVIDIA Blackwell GPU’s.
- GPU Geheugen: Totaal van 1440 GB GPU-geheugen.
- Prestaties: 72 petaFLOPS in training en 144 petaFLOPS in inferentie.
- Energieverbruik: Ongeveer 14,3 kW.
- CPU: 2 Intel® Xeon® Platinum 8570-processors, met in totaal 112 kernen (2,1 GHz basis, 4 GHz maximale boost).
- Systeemgeheugen: Tot 4 TB.
- Netwerken:
- 4 OSFP-poorten voor 8 single-port NVIDIA ConnectX-7 VPI (InfiniBand/Ethernet tot 400 Gb/s).
- 2 dubbel-port DPU’s QSFP112 NVIDIA BlueField-3 (InfiniBand/Ethernet tot 400 Gb/s).
- Geïntegreerde NIC van 10 Gb/s met RJ45.
- Dubbel-port 100 Gb/s Ethernet NIC.
- Opslag:
- Besturingssysteem: 2 NVMe M.2 van 1,9 TB.
- Interne opslag: 8 NVMe U.2 van 3,84 TB.
- Software:
- NVIDIA AI Enterprise: geoptimaliseerde AI-software.
- NVIDIA Base Commandâ„¢: orkestratie, planning en clusterbeheer.
- DGX OS/Ubuntu: besturingssysteem.
- Rack Units (RU): 10 RU.
- Systeemafmetingen: Hoogte: 444 mm, Breedte: 482,2 mm, Lengte: 897,1 mm.
- Operationele Temperatuur: 5–30 °C.
- Zakelijke Ondersteuning: Drie jaar technische ondersteuning voor hardware en software, continue toegang tot ondersteuningsportal en live agentondersteuning tijdens lokale bedrijfsuren.
Samenvattend vertegenwoordigt de B200-chip van NVIDIA een monumentale vooruitgang in KI-technologie, zij het niet zonder zijn productie-uitdagingen. Met zijn ongeëvenaarde kracht belooft het nieuwe normen te stellen voor gegevensverwerking en kunstmatige intelligentie, terwijl de concurrentie in de sector, waaronder AMD en Huawei, zich ongetwijfeld voorbereidt om te reageren op dit indrukwekkende aanbod van NVIDIA.
Meer informatie: Nvidia B200