OpenAI daagt Jalapeño uit aan NVIDIA Blackwell en wint in inferentie per watt

OpenAI heeft de eerste resultaten gepubliceerd van Jalapeño, hun eerste eigen ASIC-accelerator voor AI-inferentie, en de cijfers tonen een aanzienlijk voordeel ten opzichte van NVIDIA Blackwell GB200 en GB300 systemen op drie verschillende lasten. Bij GPT-OSS 120B bereikt het 85.448 gemengde tokens per seconde per kilowatt, bijna 1,9 keer de referentiewaarde, terwijl het op het punt van de laagste latentie 1.459 tokens per seconde per gebruiker haalt. Deze resultaten zijn gemeten met de InferenceX-benchmark van SemiAnalysis, maar ze bevestigen nog niet dat Jalapeño sneller is dan Blackwell bij elke AI-laad.

De kernpunten van OpenAI Jalapeño in 20 seconden

• Jalapeño behaalt tussen 1,5 en 1,9 keer betere performance per watt in alle drie de gepubliceerde modellen.
• Het bereikt 1.459 tokens per seconde per gebruiker bij GPT-OSS 120B.
• De vergelijkingen gebruiken NVIDIA GB200 en GB300 afhankelijk van het model.
• OpenAI heeft ook DeepSeek R1 670B en Kimi K2.5 1T getest.
• De interne uitrol begint waarschijnlijk vóór het einde van 2026.

De betekenis van de aankondiging ligt zowel in de resultaten als in wie ze behaalt. OpenAI is al jaren een grote koper van NVIDIA-accelerators en bevestigt dat ze deze blijven gebruiken. Jalapeño introduceert een tweede benadering: specifiek silicium ontwerpen rond de inferentiebehoeften, waarbij accelerator, geheugen, interconnectie, software en systeemontwerp geïntegreerd worden.

De gepubliceerde resultaten komen bovendien uit modellen met zeer verschillende kenmerken: GPT-OSS 120B, DeepSeek R1 670B en Kimi K2.5 met een triljoen parameters. SemiAnalysis merkt op dat Jalapeño in haar tests hoger presteerde dan NVIDIA-, AMD- en Google-accelerators die in verschillende grote open modellen geëvalueerd konden worden. Die uitspraak breidt het bereik van de tests uit, maar moet niet automatisch worden toegepast op de concrete NVIDIA-resultaten die OpenAI in haar grafieken presenteert.

Tot 1.459 tokens per seconde per gebruiker

Een van de meest opvallende cijfers betreft de maximale decoding-snelheid per gebruiker.

Met GPT-OSS 120B haalt Jalapeño 1.459 tokens per seconde per gebruiker, tegenover 535 tokens/sec van het referentiesysteem GB200. Dat is ongeveer 2,7 keer meer.

Het verschil wordt groter bij DeepSeek R1: 700 tegenover 169 tokens/sec, circa 4,1 keer zo snel. Met Kimi K2.5 haalt Jalapeño 694 tokens/sec versus 182 tokens/sec bij GB300, een verschil van ongeveer 3,8 keer.

Deze metriek is vooral interessant voor assistenten en AI-agenten, waarbij de tijd voor het genereren van elk antwoord de totale duur van taken met meerdere opeenvolgende stappen beïnvloedt.

OpenAI benadrukt dat een van de doelen van Jalapeño was om de gebruikelijke balans tussen doorvoer en latentie te vermijden. Een systeem kan veel verzoeken tegelijk verwerken via batching, maar dat betekent niet automatisch dat het de snelste reactie aan elke gebruiker geeft.

Jalapeño probeert beide factoren binnen dezelfde architectuur te behouden.

Dit resulteert ook in de latentie van eind tot eind: OpenAI meldt 1,03 seconden tegenover 1,80 seconden voor GPT-OSS, 1,65 tegenover 5,99 seconden voor DeepSeek R1, en 1,56 tegenover 5,31 seconden voor Kimi K2.5.

De belangrijke strijd gaat om tokens per kilowatt

Voor datacenters is de absolute snelheid slechts een deel van het verhaal. De beschikbare elektriciteit is een van de belangrijkste beperkingen voor het uitrollen van grote AI-infrastructuren.

Daarom gebruikt OpenAI ook energieprestaties per eenheid als een van haar belangrijkste metrics.

De resultaten zijn als volgt:

De vergelijking normaliseerde OpenAI op basis van de nominale vermogenswaarden van elke accelerator: 700 W voor Jalapeño, 1.200 W voor GB200 en 1.400 W voor GB300. OpenAI voegt eraan toe dat haar chip onder de testlasten een stabiel verbruik had van gelijke of lagere 550 W.

Dit is een belangrijk punt. De 85.448 tokens/sec/kW betekenen niet dat één Jalapeño 85.448 tokens per seconde produceert. De metriek normaliseert de systeemprestaties op energieverbruik om efficiëntie beter te kunnen vergelijken.

Het is ook belangrijk om een andere veel gemaakte fout te vermijden: deze gegevens bewijzen niet dat Jalapeño 90 % krachtiger is dan Blackwell in algemene zin. Ze tonen dat, bij GPT-OSS 120B en volgens de specifieke InferenceX-methodologie, Jalapeño ongeveer 1,9 keer de gemengde throughput per kilowatt behaalt van de gebruikte GB200.

InferenceX toont resultaten voor verschillende configuraties en illustreert hoe prestaties, kosten en efficiëntie kunnen variëren afhankelijk van het model, de precisie, de sequentie en het interactieniveau.

De uitleg achter de 104 keer hogere waarde

Er is nog een derde, nog spectaculairder resultaat: 104,3 keer.

Maar het zou fout zijn om op basis hiervan te concluderen dat Jalapeño 104 keer sneller is dan een NVIDIA GB300.

OpenAI voert hier een andere test uit. Ze stellen de maximale gebruikerssnelheid vast die NVIDIA kan halen, en berekenen vervolgens hoeveel throughput per kilowatt elke architectuur op dat punt kan behouden.

Met GPT-OSS, dat ongeveer 535 tokens/sec per gebruiker haalt, bereikt Jalapeño 22.935 gemengde tokens/sec/kW tegenover 427 bij GB200: 53,7 keer meer.

Bij DeepSeek R1, met ongeveer 169 tokens/sec per gebruiker, wordt de vergelijking 12.258 versus 118, wat neerkomt op een verschil van 104,3 keer.

En bij Kimi K2.5, ongeveer 182 tokens/sec per gebruiker, is het verschil 6.744 tegen 120, oftewel 56,1 keer.

Deze test onthult de kosten die gepaard gaan met het maximaliseren van een arquitectuur voor extreem lage latentie. Het Blackwell-systeem verliest aanzienlijk in vermogen als het tegelijk die snelheid per gebruiker moet handhaven.

Dat is precies waar OpenAI haar ASIC wil onderscheiden.

AI-inferentie van taalmodellen betekent niet per se voortdurende hetzelfde soort operatie. Tijdens de pre-fill verwerkt de accelerator de prompt, met een hoge rekeneis. Tijdens decode genereert het tokens achtereenvolgens, waarbij geheugenbandbreedte veel belangrijker wordt.

Jalapeño is ontworpen om datatransfers tussen die fasen te minimaliseren. OpenAI meldt dat het modelstatus inclusief de KV-cache expliciet kan plaatsen en lokaal houden, terwijl het computing, geheugen en netwerk toewijst volgens de behoeften van elke fase.

Dat verschil is relevant ten opzichte van architecturen die pre-fill en decode scheiden tussen verschillende resources. Dat wil niet zeggen dat indegatie per se slechter is: NVIDIA en moderne inferentiemotoren halen ook zeer competitieve resultaten met die techniek. InferenceX toont bijvoorbeeld configuraties met GB200 en GB300 die gesegmenteerde inferentie gebruiken om prestatie en interactiviteit te balanceren.

OpenAI wil steeds meer controle over haar infrastructuur

Jalapeño betekent geen breuk met NVIDIA.

OpenAI zegt expliciet dat ze breed zal blijven inzetten op NVIDIA- en andere partners-accelerators voor zowel training als inferentie. Haar ASIC moet voorlopig als een andere component binnen haar infrastructuur worden gezien die meer capaciteit vereist.

SemiAnalysis geeft aan dat de ontwikkeling in samenwerking met Broadcom plaatsvond en dat het project begin 2024 startte. Voor een bedrijf dat op datacenterniveau accelerators gebruikt, kan het verbeteren van tokens per megawatt aanzienlijke economische voordelen opleveren, zelfs zonder volledige vervanging van GPU’s.

Er is nog een bijzonder punt: AI is ook ingezet voor de ontwikkeling en programmering van de accelerator zelf.

OpenAI meldt dat het in negen maanden van het ontwerp tot tapeout ging en dat het haar modellen gebruikte om implementaties te bestuderen, ontwerpcycli te verkorten, circuits te verifiëren en rekenkundige circuits te optimaliseren. Later gebruikte het Codex en GPT-Astra om drie open models te omschrijven voor Jalapeño, in ongeveer twee maanden.

In bepaalde attend blocks en Mixture of Experts-modules van GPT-OSS presteerden de AI-geïmplementeerde versies tussen 1,5 en 1,8 keer sneller dan handmatig geschreven door menselijke specialisten. OpenAI wijst erop dat deze vergelijking specifiek geldt voor die blokken, niet voor de volledige modelprestatie.

De volgende grote test gaat veel verder dan een benchmark. OpenAI heeft het plan om Jalapeño te integreren in haar infrastructuur voor het einde van 2026, terwijl ze haar productie-kwalificatie en softwareontwikkeling voortzetten. Er wordt ook gewerkt aan een tweede generatie en een derde wordt al gedefinieerd.

Totdat de hardware op grote schaal operationeel is, blijft een essentiële vraag of deze cijfers zich vertalen in beschikbaarheid, totale eigendomskosten en consistente prestaties onder echte werklasten.

De eerste resultaten tonen echter alvast iets minder betwistbaar: een eerste generatie ASIC van OpenAI kan concurreren met Blackwell voor inferentie en in de gepubliceerde tests het systeem van NVIDIA overtreffen in latentie en performance per watt. Voor een bedrijf dat die tokenafname blijft verhogen, kan die efficiëntie uiteindelijk belangrijker worden dan het winnen van een FLOPS-oorlog.

Veelgestelde vragen

Is Jalapeño sneller dan NVIDIA Blackwell?

In de gepubliceerde tests met GPT-OSS 120B, DeepSeek R1 670B en Kimi K2.5 1T overtreft Jalapeño de referentiesystemen GB200 en GB300 in performance per watt en maximale decodingssnelheid. Maar deze resultaten kunnen niet automatisch worden doorgetrokken naar alle modellen of belastingen.

Hoeveel tokens per seconde haalt OpenAI Jalapeño?

De maximale waarde die is gepubliceerd, is 1.459 tokens/sec met GPT-OSS 120B. Daarnaast behaalt het 700 tokens/sec met DeepSeek R1 en 694 tokens/sec met Kimi K2.5.

Zal Jalapeño de NVIDIA GPU’s van OpenAI vervangen?

Dat wordt niet aangekondigd. OpenAI blijft benadrukken dat ze nog steeds Nvidia- en andere accelerators zal inzetten voor zowel training als inferentie, terwijl ze haar eigen silicium geleidelijk aan introduceert.

Wanneer begint OpenAI Jalapeño te gebruiken?

Het bedrijf denkt eraan te beginnen met de uitrol vóór eind 2026. Jalapeño is de eerste generatie van een familie waarvan al een tweede en een derde in ontwikkeling zijn.