Broadcom presenteert Thor Ultra: Eerste 800G AI Ethernet-netwerkkaart
Broadcom heeft een opmerkelijke stap gezet in de wereld van AI-infrastructuur met de aankondiging van de Thor Ultra, de eerste 800G Ethernet-netwerkinterfacekaart (NIC) die specifiek is ontworpen voor kunstmatige intelligentie (AI). Dit innovatieve product is gericht op het interconnecteren van honderden duizenden XPUs (GPU’s, CPU’s en aanverwante accelerators) en stelt bedrijven in staat om modellen met triljoenen parameters effectief te trainen en inferenties uit te voeren op open en gestandaardiseerde Ethernet-netwerken.
Wat Thor Ultra oplost: Herontwerpen van RDMA voor Grootschalige AI
Traditionele RDMA (Remote Direct Memory Access) in AI-netwerken vertoont verschillende beperkingen. Het gebrek aan effectieve multipathing, strikte volgorde in levering, minder flexibele retransmissie en complexe congestiebeheer zijn enkele van deze knelpunten. Thor Ultra introduceert een verzameling innovaties die deze problemen aanpakt, in lijn met de specificaties van het Ultra Ethernet Consortium (UEC).
De belangrijkste functies zijn onder andere:
- Multipathing op pakketniveau voor een betere lastverdeling binnen het netwerk.
- Opeenvolgende levering rechtstreeks naar XPU-geheugen, waardoor de netwerkutilisatie wordt geoptimaliseerd zonder blokkades door herordening.
- Selectieve retransmissie, die voorkomt dat gezonde blokken opnieuw worden verzonden en versnelde Job Completion Time (JCT) mogelijk maakt.
- Programmeersbaar congestiebeheer met algoritmen aan zowel de verzend- als ontvangkant.
Hardware en Offloads: 800G met Beveiliging en Lage Latentie
Thor Ultra komt in standaardformaten zoals PCIe CEM en OCP 3.0, en maakt gebruik van een PCI Express Gen6 x16 hostinterface. Het bevat SerDes PAM4 van 200G of 100G met ondersteuning voor langeafstandspassieve koperverbindingen. Broadcom benadrukt een toonaangevende Bit Error Rate (BER), wat de stabiliteit van de verbinding vergroot en de JCT bij trainings- en inferentiewerkzaamheden verlaagt.
Open Ecosysteem: Tomahawk, Jericho en Scale-Up Ethernet
De Thor Ultra NIC is volledig compatibel met het Ethernet-ecosysteem van Broadcom, dat producten zoals Tomahawk 6, Tomahawk Ultra en Jericho 4 omvat. Deze interoperabiliteit biedt gebruikers de vrijheid om verschillende componenten te combineren, waardoor de afhankelijkheid van verticale leveranciers wordt verminderd en de adoptiesnelheid wordt versneld.
Tijd voor Verandering: Schaalbaarheid van AI Zonder Netwerk-Herlanguages
Met de opkomst van RoCE/UEC op Ethernet ondervindt de markt druk van zowel componentenschaarste in gesloten oplossingen als de dringende behoefte aan standaardisatie naarmate clusters groeien. Broadcom positioneert Thor Ultra als een cruciale stap richting de claim dat Ethernet in staat is om geavanceerde AI te ondersteunen, mits RDMA wordt aangepast aan moderne eisen.
Gebruikscases: Van Massale Pre-fill Tot Verspreide Decoding
Netwerkflessenhalzen variëren afhankelijk van de fase van het AI-cyclus:
- Tijdens training en pre-fill is een continue bandbreedte noodzakelijk; hier zorgt multipathing voor een afname van knelpunten.
- Bij inferentie en lange decoding vermindert selectieve retransmissie de wachttijden, wat essentieel is voor de service-level agreements (SLA) van vrijwel realtime diensten.
- In multi-tenant omgevingen waarborgt de ingebouwde beveiliging dat tenants goed van elkaar gescheiden blijven zonder afbreuk te doen aan de prestaties.
Beschikbaarheid en Volgende Stappen
Thor Ultra is momenteel beschikbaar voor sampling aan klanten en partners in het ecosysteem. Broadcom beschouwt deze NIC als een centrale schakel in hun Ethernet-gebaseerde AI-fabric, met een roadmap die gericht is op UEC-interoperabiliteit, geavanceerde telemetrie en JCT-reductie.
Technische Specificaties (Samenvatting)
- Snelheid: 800G Ethernet
- Standaarden: Volledige naleving van UEC, RDMA met multipathing, buiten volgorde levering, selectieve retransmissie, en programmeerbare congestie.
- Host Interface: PCIe Gen6 x16
- Form factor: PCIe CEM en OCP 3.0
- SerDes: PAM4 200G / 100G met langeafstandsondersteuning en lage BER
- Beveiliging: In lijn encryptie, secure boot, en apparaat attestatie
- Telemetrie en Controle: Programmeerbare congestiepijplijn, packet trimming, en CSIG
- Ecosysteem: Interoperabel met Tomahawk 5/6, Tomahawk Ultra, Jericho 4 en UEC-compliant switches.
Conclusie
Met Thor Ultra zet Broadcom de lat voor Ethernet NIC’s in AI op 800G. De focus ligt niet alleen op prestatieverbeteringen maar ook op het versnellen van de transitie naar open UEC-netwerken. Deze innovative aanpak stelt bedrijven in staat om RDMA in de moderne AI-context opnieuw uit te vinden, waardoor de JCT vermindert, kosten worden beheersbaar en lock-in wordt voorkomen.