In 2002 en 2023 begon de wereld de proliferatie van toepassingen van kunstmatige intelligentie (AI) in verschillende industrieën te zien. Wat drijft deze revolutie aan? De datacenters: het kloppende hart achter de opmars van AI, en uiteraard de vooruitgang van GPU’s, vooral die van Nvidia.
De explosieve groei van kunstmatige intelligentie toepassingen vereiste een complete herbeoordeling van het traditionele datacenterEen datacenter of data processing center (DPC)…. De bestaande infrastructuur is over het algemeen niet ontworpen of uitgerust om de enorme capaciteit voor parallelle verwerking en het geheugen die AI werklasten vereisen, te hanteren. Alleen al in 2024 wordt verwacht dat de wereld 1,5 keer de hoeveelheid digitale data genereert die twee jaar geleden werd geproduceerd.
Zonder twijfel zal de vraag naar AI werklasten de traditionele cloudcomputing spoedig overtreffen, en een one-size-fits-all benadering voldoet niet aan de behoeften van AI ontwikkelaars, die custom oplossingen nodig hebben voor hun immense en specifieke behoeften.
Het probleem met traditionele Datacenters
Traditionele datacenters zijn hoofdzakelijk gebouwd om algemene doeleinde applicaties te ondersteunen, met een evenwicht tussen prestatie en kosten. De meeste rekencapaciteit is ontworpen voor werklasten zoals webservers, e-commerce sites en databases, niet voor de benodigde rekenkracht om een Groot Taalmodel (LLM) te trainen.
De belangrijkste beperkingen van traditionele datacenters omvatten:
- Evenwicht tussen prestatie en kosten: Ze zijn niet geoptimaliseerd voor specifieke typen werklasten.
- Gefragmenteerd gebruik: De werklasten schalen incrementeel, zonder de behoefte aan grote capaciteit voor parallelle verwerking noch aan massieve opslag.
- Op CPU’s gerichte werklasten: Die aanzienlijk minder energie vereisen en veel minder warmte genereren in vergelijking met GPU’s.
AI ontwikkelaars hebben behoefte aan op maat gemaakte oplossingen met grote capaciteit, onmiddellijke beschikbaarheid en technische ondersteuning van hoog niveau. De bestaande datacenters ontbreken de architectuur, koeling en de benodigde software om AI werklasten of versnelde computing uit te voeren.
Basiscomponenten van het herontwerp
- Architectuur: De vermogensdichtheid per server is verviervoudigd in vergelijking met CPU servers. Traditionele datacenters zijn ontworpen met een gemiddelde dichtheid van 5 tot 10 kW per rack, terwijl AI datacenters nu 60 of meer kW per rack vereisen.
- Koeling: Servers met meerdere GPU’s genereren veel meer warmte dan een traditionele server, wat twee belangrijke uitdagingen met zich meebrengt:
- De huidige luchtkoelingsoplossingen worden belast en vereisen dat GPU racks verder uit elkaar worden geplaatst om effectief gekoeld te worden.
- Racks van de volgende generatie kunnen tot 120 kW aan energie per kast gebruiken, waardoor een warmte ontstaat die niet door lucht kan worden gekoeld.
- Software: Traditionele software beschikt over redundanties en kan terugvallen op andere hardwarecomponenten als er een uitvalt. LLMs worden getraind als een cluster, met significante kostenimplicaties als de hardware uitvalt. Er is een softwarestack nodig die specifiek is gebouwd om de werklastprestaties te optimaliseren en automatisch te herstellen van onderbrekingen.
Overgang van Datacenters voor AI: Een algehele update
Bestaande datacenters aanpassen om ze om te vormen tot AI faciliteiten impliceert signifiante hardware-updates en zelfs het gebouwstructuur om nieuwe types werklasten te kunnen hanteren. Dit omvat:
- Hardware vervangen met componenten die in staat zijn om grote hoeveelheden data in real-time te verwerken en door te geven.
- Het netwerk herconfigureren om een veel hogere bandbreedteBandbreedte is de maximale transf… te ondersteunen, en zorgt voor efficiënte communicatie tussen dicht op elkaar gepakte GPU racks en externe opslagsystemen.
- Het ontwerp, koeling, energie en kabelsystemen herontwerpen om de hogere dichtheid en interconnectiviteit van de GPU racks te accommoderen.
Het heruitvinden van het datacenter
De eerste stap is energie. Het ontwerpen van een energiesysteem dat deze werklasten aankan vindt plaats op zowel datacenter- als rackniveau. De koelsystemen van de toekomst vereisen een liquide koeling in elk deel van het datacenter, met gebruik van minder water dan de momentele luchtkoelsystemen. Het integreren van liquide koeling in nieuwe datacenters vereist planning en investering in gespecialiseerde infrastructuur.
De transformatie van datacenterconnectiviteit gaat niet alleen om het aansluiten van servers, maar ook om het faciliteren van efficiënte communicatie op hoge snelheid tussen GPU’s. In een AI-gedreven omgeving, waarbij parallelle verwerking de norm is, bepaalt de snelheid waarmee GPU’s data uitwisselen de algehele prestatie.
Het resultaat van dit herontwerp zijn snellere en effectievere toepassingen dan die uitgevoerd op legacy infrastructuur. Serverloze KubernetesKubernetes (vaak aangeduid in het Engels als “K8sâ€)… inzetten zorgen voor snelle opstarttijden, automatisch schalende en het vermogen om duizenden GPU’s per werklast aan te kunnen, met een infrastructuur dat specifiek gebouwd is om de uitdagingen die deze grote werklasten met zich mee brengen, te adresseren.
Met diese vooruitgang zijn de datacenters klaar om de revolutie van kunstmatige intelligentie en high-performance computing toepassingen te ondersteunen, en kondigen zij een nieuw tijdperk in de digitale infrastructuur aan.