HP brengt IA met NVIDIA GB300 en Red Hat buiten datacenter

HP streeft ernaar om inferentie van bedrijfsniveau kunstmatige intelligentie (AI) dichter bij de gegevenslocatie te brengen. Het bedrijf werkt samen met Red Hat en NVIDIA aan een platform dat HP ZGX Fury combineert met de superchip NVIDIA GB300 Grace Blackwell Ultra en Red Hat AI Factory, zodat modellen en agents lokaal kunnen worden uitgevoerd, zonder dat alle workloads naar een datacenter of openbare cloud hoeven te reizen.

De kernpunten van HP’s nieuwe AI-platform in 30 seconden

• HP ontwikkelt samen met Red Hat en NVIDIA een platform voor het uitvoeren van AI-inferentie op lokale installaties en aan de rand van het netwerk (edge).
• HP ZGX Fury gebruikt NVIDIA GB300 Grace Blackwell Ultra en bereikt tot 20 PFLOPS FP4-prestaties.
• Het systeem beschikt over 748 GB coherente geheugen tussen CPU en GPU.
• Red Hat AI Factory biedt beheer, orkestratie en implementatie van modellen en agents.
• ZGX Fury is nu te bestellen, maar de volledige gezamenlijke oplossing bevindt zich nog in ontwikkeling.

De aankondiging gaat verder dan enkel een nieuwe werkstation. HP probeert een deel van de architectuur van AI-servers naar een lokale omgeving te brengen, gecombineerd met tools voor het beheer van modellen, applicaties en agents, op een manier die consistent is tussen eigen installaties en de cloud.

Dit kan vooral interessant zijn voor bedrijven die informatie dicht bij fabrieken, winkels, laboratories, kantoren of locaties met beperkte connectiviteit willen verwerken. Ook voor organisaties die om privacy-, regelgeving- of soevereiniteitsredenen geen data willen sturen naar externe diensten.

Het voorstel is niet bedoeld om datacenters volledig te vervangen. HP voorziet een hybride model waarin workloads worden uitgevoerd waar dat het meest praktisch is.

Een GB300 met 748 GB coherente geheugen in een watergekoeld torenformaat

Het meest opvallende onderdeel is HP ZGX Fury, een systeem dat HP beschrijft als een AI-station en dat qua technisch ontwerp aanzienlijk afwijkt van een conventionele workstation.

De NVIDIA GB300 Grace Blackwell Ultra Superchip combineert een Grace-CPU met 72 ARM Neoverse V2-kernen en een Blackwell Ultra GPU.

De specificaties beschreven door HP omvatten 496 GB LPDDR5X-geheugen voor de CPU en 252 GB HBM3e voor de GPU, met een bandbreedte van 7,1 TB/s voor de GPU.

Samen biedt de architectuur in totaal 748 GB coherente geheugenondersteuning.

HP bevestigt dat deze capaciteit het mogelijk maakt om modellen met tot één biljoen parameters lokaal uit te voeren, hoewel deze uitspraak afhankelijk is van de quantificatie van het model. Dit betekent niet dat elk model van die omvang zonder meer in elke configuratie of precisie kan worden gedraaid.

Het bedrijf richt zich ook op fijn afstemmen (fine-tuning) van modellen met ongeveer 100 miljard parameters op locatie.

Volgens de specificaties van HP kan het systeem tot 20 PFLOPS FP4-prestaties leveren, een precisie die specifiek gericht is op het versnellen van AI-lasten.

Het is belangrijk op te merken dat de theoretische PFLOPS-prestaties geen directe vergelijking toestaan tussen modellen, applicaties en accelerators. De inferentie-snelheid hangt af van factoren zoals het gebruikte model, de quantificatiemethode, de contextlengte, het aantal gelijktijdige gebruikers en de software voor het bedienen.

Het systeem is niet klein: commercieel aangekondigde configuraties wegen ongeveer 41 kilogram en maken gebruik van waterkoeling. Het formaat maakt plaats voor gebruik als toren of voor rackmontage.

Deze combinatie wijst op een marktsegment dat vooral zoekt naar een apparaat met capaciteit vergelijkbaar met dat van een AI-server, maar dat direct in een kantoor, lab, afdeling of een externe locatie geplaatst kan worden.

Red Hat maakt hardware tot een kleine AI-platform

De tweede component van deze samenwerking probeert een minder zichtbaar probleem op te lossen dan het aanschaffen van een GPU: het beheer van de infrastructuur.

Het hebben van een GB300 alleen garandeert niet dat er een compleet bedrijfsklaar platform is om modellen te implementeren.

HP wil ZGX Fury combineren met Red Hat AI Factory with NVIDIA, gebouwd op Red Hat Enterprise Linux en Red Hat OpenShift, voor het beheer van modellen, agents en AI-applicaties via hybride infrastructuren.

De oplossing bevat ook technologieën zoals NVIDIA AI Enterprise en Red Hat AI Enterprise.

Het doel is dat verschillende workloads hetzelfde systeem kunnen gebruiken met behoud van isolatie, governance en operationeel control. Daarnaast moet het gebruik van GPU’s verbeteren via CUDA-bibliotheken, resource- planning en orkestratie met meerdere GPU’s.

Er is een belangrijke verschil tussen hardware en deze gezamenlijke platformoplossing.

HP ZGX Fury is nu te bestellen en gecertificeerd voor Red Hat Enterprise Linux. De volledige oplossing met Red Hat AI Factory staat nog gepland, zonder een vaste release datum.

HP biedt de mogelijkheid om het te evalueren via geïsoleerde omgevingen of sandboxes op hun apparaten, voordat workloads naar productie worden overgezet. Details over datums, locaties, compatibele configuraties en toegangsinstructies worden nog niet gecommuniceerd.

Het is dus niet juist te interpreteren dat de volledige gezamenlijke platform al commercieel beschikbaar is.

Inferentie begint de grote datacenters te verlaten

Deze aanpak weerspiegelt een bredere trend in AI-infrastructuur.

Grootschalig trainen van modellen blijft grote clusters met accelerators vereisen. Inferentie is een ander probleem, omdat deze continu plaatsvindt telkens wanneer een gebruiker, applicatie, machine of agent het model inzet.

Het verzenden van al deze aanvragen naar een cloudomgeving is niet altijd ideaal.

Een fabriek wil bijvoorbeeld beelden van een productieproces bijna in real-time kunnen analyseren. Een ziekenhuis kan informatie hebben die binnen eigen installaties blijft. Overheden kunnen systemen willen die niet verbonden zijn met internet. En een ingenieursbedrijf kan interne modellen willen delen met ontwikkelaars, zonder per token te betalen.

Lokaal verwerken kan sommige problemen verminderen, maar brengt ook nieuwe uitdagingen met zich mee.

Organisaties worden verantwoordelijk voor het aanschaffen en onderhouden van dure hardware, energieverbruik, koeling, opslag en updates. Bovendien betekent het fysiek binnen de eigen infrastructuur hebben van data niet automatisch dat een systeem soeverein is of naleving van regelgeving garandeert.

Software, identiteiten, externe verbindingen, governance en datamanagement blijven van groot belang.

HP wijst op toepassingsgebieden zoals productie, engineering, softwareontwikkeling, detailhandel, gezondheidszorg, overheidsdiensten en gedistribueerde operaties.

Een duidelijk voorbeeld is industriële beeldherkenning. Beelden van een productieproces kunnen lokaal worden geanalyseerd om defecten op te sporen, zonder grote videobestanden continu te uploaden naar een cloud.

Een ander voorbeeld is het ontwikkelen van software met agents. Teams kunnen modellen lokaal draaien voor programmeren, testen en evalueren, terwijl ze bedrijfsgegevens en code intern houden.

Dit initiatief wijzigt ook deels de economie van AI-gebruik:

API-diensten rekenen meestal op basis van tokens. Een eigen infrastructuur vervangt dat variabele kostenplaatje door investeringen en operationele uitgaven die voorspelbaarder zijn.

Het betekent niet per se dat lokale AI-uitvoering goedkoper is. Het hangt af van de gebruiksintensiteit, aanschafprijs, energie, onderhoud, personeel en levensduur. Een onderbenutte machine kan per token veel duurder zijn dan externe capaciteit huren.

Voor zware, voortdurende en voorspelbare workloads kan de situatie anders liggen.

Hier speelt het marktsegment dat HP met ZGX Fury wil bedienen: het bieden van een hoeveelheid geheugen en rekenkracht die tot nu toe vooral in datacenters werd gezien, direct gekoppeld aan de AI-verbruikers, met Red Hat als beheerlaag eroverheen.

Cloud zal nog steeds een rol blijven spelen. Het verschil is dat de belangrijkste plek voor inferentie nu verdeeld kan worden tussen cloud, datacenters en krachtigere lokale systemen.

Veelgestelde vragen

Wat is HP ZGX Fury?

HP ZGX Fury is een AI-station voor ontwikkeling en inferentie op locatie, gebaseerd op NVIDIA GB300 Grace Blackwell Ultra. Het beschikt over tot 748 GB coherente geheugen en een geconfigureerde performance tot 20 PFLOPS FP4.

Kan het modellen tot één biljoen parameters draaien?

HP beweert dat ZGX Fury lokaal modellen tot een biljoen parameters kan uitvoeren met behulp van FP4-quantificatie. De daadwerkelijke haalbaarheid en prestaties hangen af van het model, de architectuur en de configuratie.

Wat biedt Red Hat AI Factory?

Het levert de enterprise-softwarelaag voor het uitrollen en beheren van AI-modellen, agents en applicaties in hybride omgevingen, ondersteund door technologieën als Red Hat Enterprise Linux en OpenShift.

Is het gezamenlijke platform van HP, Red Hat en NVIDIA al beschikbaar?

HP ZGX Fury is nu te bestellen en gecertificeerd voor Red Hat Enterprise Linux. De volledige integratie met Red Hat AI Factory staat nog gepland, zonder vaste lanceerdatum.