Cloudflare lanceert zijn 12e generatie servers: 145% meer prestaties en 63% meer efficiëntie

Cloudflare heeft de algemene implementatie aangekondigd van hun volgende generatie servers, de Generatie 12 (Gen 12), aangedreven door AMD EPYC 9684X-processors (codenaam “Genoa-X”). Deze nieuwe generatie richt zich op het leveren van uitzonderlijke prestaties in alle Cloudflare-diensten, het verbeteren van ondersteuning voor werkbelastingen van kunstmatige intelligentie en machine learning, het behalen van significante vooruitgang in energie-efficiëntie en het verbeteren van beveligingsfeatures.

Onder de belangrijkste verbeteringen die deze generatie biedt in vergelijking met de vorige zijn:

• Dubbele prestaties: Dankzij een nauwe samenwerking tussen Cloudflare en AMD, kunnen de Gen 12 servers meer dan het dubbele aantal verzoeken per seconde (RPS) afhandelen dan de Gen 11 servers, wat resulteert in lagere infrastructuurkosten.
• Hogere energie-efficiëntie: De efficiëntie in RPS per watt is met meer dan 60 % verbeterd in vergelijking met de vorige generatie. Dit helpt bij het verlagen van operationele kosten en de koolstofvoetafdruk van Cloudflare.
• Verbeterde ondersteuning voor AI en ML: Het thermo-mechanisch ontwerp van de Gen 12 servers is bijgewerkt om krachtigere GPU’s te ondersteunen, waardoor grotere taalmodellen mogelijk zijn en de prestaties voor kleinere modellen worden verhoogd.
• Beveiligingsverbeteringen: Er zijn hardware root of trust (HRoT)-mogelijkheden geïntegreerd voor het waarborgen van de integriteit van de firmware bij het opstarten en het beheer van de motherboard controller. Bovendien is de Data Center Secure Control Module (DC-SCM) modulair en provider-onafhankelijk, wat zorgt voor een uniforme openBMC-imago en snellere prototyping.
• Strategie van meerdere leveranciers: Om continuïteit en veerkracht te verzekeren bij de implementatie van hun infrastructuur, heeft Cloudflare een robuust beleid van meerdere leveranciers aangenomen om risico’s in de toeleveringsketen te beperken.

Technische details van de Gen 12 server

De Gen 12 server heeft de volgende specificaties:

Vergelijking van CPU-modellen

Cloudflare heeft verschillende CPU-opties voor de Gen 12 geëvalueerd, met een focus op drie hoofdkandidaten uit de 4de generatie AMD EPYC-serie: Genoa 9654, Bergamo 9754 en Genoa-X 9684X. Hier volgt een vergelijking van de specificaties tussen deze modellen en de AMD EPYC 7713 gebruikt in de Gen 11 servers:

*Let op: De all-core boostfrequentie van de AMD EPYC 7713 van 2,7 GHz is geen officiële specificatie, maar gebaseerd op gegevens verzameld in de productievloot van Cloudflare.

Prestaties en efficiëntie

Tijdens het testen presteerde elk van deze CPU’s minstens 2 keer beter dan de vorige generatie. De AMD EPYC 9684X “Genoa-X” met 3D V-cache-technologie bood de grootste verbetering, met een prestatie 2,45 keer beter dan de AMD EPYC 7713 “Milan” van de Gen 11-servers.

Bij het vergelijken van de prestaties tussen Genoa-X 9684X en Genoa 9654 werd een verschil opgemerkt van ongeveer 22,5 %. Het belangrijkste verschil ligt in de hoeveelheid beschikbare L3-cache; de Genoa-X 9684X heeft 1.152 MB L3-cache, drie keer zoveel als de 384 MB van de Genoa 9654. Cloudflare’s werkbelastingen profiteren van een grotere lage niveau cache, waardoor de latencyboetes geassocieerd met het ophalen van gegevens uit het geheugen vermeden worden.

Toewijding aan energie efficiëntie

Hoewel de Gen 12-server 600 watt verbruikt bij een typische omgevingstemperatuur van 25 °C (een stijging van 50 % ten opzichte van Gen 11), biedt het een 145 % toename in prestaties. De energie-efficiëntie is met 63 % verbeterd, wat helpt om operationele kosten en de koolstofvoetafdruk van Cloudflare aanzienlijk te verminderen.

Geheugen en opslag

• Geheugen: De Gen 12-servers gebruiken DDR5 geheugen met twaalf volledig benutte kanalen, wat een hogere bandbreedteDe bandbreedte is de maximale doorgiftecapaciteit… en efficiëntie biedt. Er is 384 GB aan geheugen geconfigureerd, gebaseerd op een analyse van optimaal gebruik en resource allocatie.
• Opslag: De overgang van het M.2 formaat naar E1.S is gemaakt. De servers zijn uitgerust met twee NVMe drives van elk 8 TB, in totaal 16 TB aan opslag. Deze verandering maakt een grotere capaciteit en betere koeling mogelijk.

Netwerk en connectiviteit

Het upgraden naar netwerkkaarten die compatibel zijn met OCP 3.0, met gebruik van de Intel Ethernet Network Adapter E810 en NVIDIA Mellanox ConnectX-6 Lx-adapters. Deze kaarten bieden meer MSI-X wachtrijen, die kunnen worden toegewezen aan het verhoogd aantal cores van de AMD EPYC 9684X CPU. Bovendien zorgen ze voor verbeteringen in offload-ondersteuning, waardoor de belasting op de kernel wordt verminderd en de prestaties verbeterd.

Verbeteringen in beveiliging

De Gen 12-servers integreren het Project Argus, een van de eerste implementaties van Data CenterEen datacenter of data processing center (DPC)… Secure Control Module 2.0 (DC-SCM 2.0). Dit koppelt de serverbeheer- en beveiligingsfuncties los van het moederbord. De moederbordbeheercontroller (BMC), de hardware root of trust (HRoT), het veilige platformmodule (TPM) en de dual flashgeheugens voor BMC/BIOS zijn geïnstalleerd in de DC-SCM.

Deze updates maken de Gen 12-servers veiliger en veerkrachtiger tegen firmware-aanvallen.

Klaar voor AI en de toekomst

Met de toenemende vraag naar machine learning en kunstmatige intelligentie werkbelastingen, heeft Cloudflare de Gen 12-server ontworpen om krachtigere GPU’s te huisvesten, ter ondersteuning van hun Workers AI-service. Dit maakt het mogelijk GPU’s strategisch te implementeren in sleutelregio’s om de inferentielatentie voor hun klanten te verminderen.

Vooruit kijken

De Gen 12-servers zijn al geïmplementeerd en operationeel in meerdere Cloudflare-gegevenscentra over de hele wereld, en verwerken miljoenen verzoeken per seconde. Het bedrijf is al aan het kijken naar de volgende generatie, met 5de generatie AMD EPYC CPUs (codenaam “Turin”) beschikbaar voor testen en serverarchitectuurplanning voor Gen 13.

Bron: CloudFlare