De carrière van kunstmatige intelligentie wordt bijna altijd vanuit hardware perspectief beschreven: meer GPU’s, meer HBM-geheugen, meer datacenters, meer megawatten en gespecialiseerde racks. Het is logisch: het trainen en uitvoeren van grote modellen vereist enorme infrastructuur. Maar EAGLE 3.1 brengt opnieuw een minder opvallende, maar zeer belangrijke waarheid aan het licht voor elke organisatie die inferentie betaalt: software kan de kosten van AI aanzienlijk beïnvloeden.
EAGLE 3.1 is geen nieuw taalmodel of een alternatief voor NVIDIA-chips. Het is een evolutie in speculative decoding-technieken: methoden die het genereren van tekst in autoregressieve modellen versnellen. Kort samengevat gebruiken deze technieken een kleiner of gespecialiseerd component om meerdere tokens vooraf voor te stellen, die vervolgens door het hoofdmodel worden geverifieerd. Als ze worden geaccepteerd, gaat de respons sneller dan bij traditionele token-voor-token generatie.
De technische interesse neemt toe omdat EAGLE 3.1 een probleem aanpakt dat attention drift wordt genoemd. Dit fenomeen, beschreven in een recente paper en verduidelijkt door het vLLM-team, komt voor bij bepaalde drafter-componenten—de onderdelen die speculative tokens voorstellen—wanneer de aandacht langzaam verschuift van de oorspronkelijke prompt naar de eigen gegenereerde tokens. Het resultaat is minder acceptatie van tokens, meer verspild werk en een minder efficiënte inferentie.
Het is geen magie: het is betere speculative decoding
Speculative decoding is geen nieuwe techniek, maar wint aan belang omdat inferentie nu één van de grootste kostenposten in AI is geworden. Het trainen van een model is duur, maar het bedienen ervan aan miljoenen gebruikers is dat ook. Elke reactie, elke agent, elke uitgebreide vraag en geautomatiseerd proces gebruikt tokens, geheugen, rekenkracht en energie.
In deze context is elke verbetering die meer nuttige tokens met hetzelfde hardware-gewicht kan genereren waardevol. Als een server meer verzoeken per seconde aankan, dalen de kosten per stuk. Als een reactie sneller wordt, verbetert de gebruikerservaring. Als een agent minder GPU-tijd nodig heeft voor een taak, wordt automatisering aantrekkelijker.
EAGLE, een acroniem voor Extrapolation Algorithm for Greater Language-model Efficiency, probeert het genereren te versnellen door gebruik te maken van interne informatie van het model om kandidaat-tokens voor te stellen. EAGLE 3.1 verbetert de robuustheid van deze techniek door aanpassingen in normalisatie en feedback van verborgen staten post-normalisatie, volgens vLLM’s technische uitleg. Met andere woorden: het probeert te voorkomen dat de drafter tijdens diepere speculative chains te ver afwijkt.
Het verschil is belangrijk omdat veel optimalisaties goed werken op gecontroleerde benchmarks, maar minder effectief blijken wanneer de chat-structuren veranderen, de context wordt verlengd of prompts afwijkingen vertonen. EAGLE 3.1 streeft er specifiek naar om die kwetsbaarheid te verminderen.
| Concept | Wat betekent het |
|---|---|
| Standaard decodering | Het model genereert token na token |
| Speculative decoding | Een drafter stelt meerdere tokens voor en het grote model verifieert ze |
| Drafter | Component dat kandidaat-tokens genereert |
| Aanvaardingslengte | Aantal speculative tokens geaccepteerd door het hoofdmodel |
| Attention drift | De verschuiving van aandacht van de drafter naar eigen tokens |
| EAGLE 3.1 | Verbetering die deze drift vermindert en acceptatie verhoogt |
Attention drift en de onzichtbare kosten van inferentie
Attention drift is interessant omdat het niet direct als een klassiek fout wordt gezien. Het breekt geen systemen en veroorzaakt geen duidelijke fouten. Het zorgt er simpelweg voor dat het systeem minder efficiënt gebruikmaakt van speculative work. In kleine organisaties met enkele duizenden verzoeken per dag is dat misschien niet opgemerkt. Maar in grote infrastructuren die miljoenen tokens per dag verwerken, kunnen die kleine verspilling in de portemonnee lopen.
Het paper “Attention Drift: What Autoregressive Speculative Decoding Models Learn” identificeert deze drift in EAGLE3-drafters en MTP-heads. De auteurs koppelen het aan een residual route die niet wordt genormaliseerd tussen stappen in de speculative chain, wat ervoor zorgt dat de grootte van de verborgen staten toeneemt met de diepte van de generatie. Om dit te beperken, stellen ze twee aanpassingen voor: post-normalisatie in de verborgen staten van de drafter en RMSNorm na het vastleggen van de staten van het doelmodel.
De gepubliceerde resultaten zijn genuanceerder dan sommige viral verhalen suggereren. Het paper vermeldt verbeteringen tot 2x onder verschillende template-perturbaties, 1,18x bij langcontexttaken en 1,10x in zeven standaard benchmarktests voor multi-turn chat, math en code. Volgens vLLM is er ook een throughputverbetering tot 2,03x per gebruiker in een specifieke benchmark met Kimi-K2.6-NVFP4 op GB200.
Dat betekent niet dat elke implementatie automatisch vijf keer sneller wordt. De familie EAGLE kan in bepaalde configuraties hoge snelheidsverbeteringen laten zien, maar de werkelijke prestaties zijn afhankelijk van het model, de backend, langheidslengte, gelijktijdigheid, hardware en de kwaliteit van de drafter. Zelfs meer gematigde verbeteringen kunnen op grote schaal enorme besparingen opleveren.
AI heeft ook engineers nodig die onder de motorkap kijken
De conclusie voor bedrijven is duidelijk: niet alles wordt opgelost door meer GPU’s te kopen. Hardware is belangrijk, maar de kosten van AI worden ook bepaald door hoe het model wordt bediend. Software-opties zoals vLLM, TensorRT-LLM, SGLang, llama.cpp, KV-cache, quantisatie, batching, speculative decoding, kernels en instellingen voor gelijktijdigheid bepalen samen de uiteindelijke efficiëntie.
Veel organisaties betalen voor tokens zonder te weten of ze het model zo efficiënt mogelijk laten draaien. Het is vergelijkbaar met de cloud: jaren lang werden servers, databases en services neergezet zonder goed overzicht op het verbruik. Daarna kwamen FinOps om overzicht te houden en te zorgen dat de cloud niet oncontroleerbaar of duur werd. Bij AI zal datzelfde gebeuren.
Inferentie vereist eigen optimalisatiedisciplines: welk model voor welke taak, welke precisie is voldoende, welk context is echt nodig, wanneer is speculative decoding geschikt, welk hardware past het beste, welke latency is nodig voor het product, en wat kost elke waardevolle token? Niet elk tokens, maar de tokens die waarde toevoegen.
Hier is EAGLE 3.1 meer dan een technische verbetering: het is een waarschuwing. De AI-race wordt niet alleen gewonnen op de plek waar GPU’s worden gekocht. Het wordt ook gewonnen in repositories, papers, inferentieservers en door teams die controleren of systemen niet verspillen aan rekenkracht.
Technologische soevereiniteit betekent ook je stack kennen
In Europa wordt veel gesproken over digitale soevereiniteit: waar staan de data, wie beheert de datacenters, welke cloud wordt gebruikt en onder welke jurisdictie valt het. Dat is allemaal belangrijk. Maar er is ook een meer alledaagse en technische soevereiniteit: weten welke software je draait, hoe het werkt en hoeveel ruimte je hebt om te verbeteren.
Een bedrijf dat een gesloten API gebruikt, heeft minder invloed op optimalisaties op laag niveau. Het kan van plan, provider of model veranderen, maar niet de inferentie-infrastructuur zelf sturen. Organisaties die eigen modellen hosten, kunnen daarentegen EAGLE 3.1 testen, vLLM afstemmen, acceptatie meten, latency verlagen en kosten optimaliseren.
Dat betekent niet dat alle bedrijven zelf hun modellen moeten hosten. Voor veel is het nog altijd het beste om te vertrouwen op commerciële API’s. Maar bij hoge volumes, privacyvereisten of behoefte aan voorspelbare kosten wordt het verstandig om inferentie te zien als infrastructuur die je zelf beter kunt beheersen.
EAGLE 3.1 herinnert ons eraan dat de toekomst van AI niet alleen ligt in grotere modellen, maar vooral in beter bediende modellen. De volgende grote sprong in efficiëntie kan komen van een nieuwe GPU, ja. Maar nog meer van een betere manier om met tokens om te gaan en ze te optimaliseren.
De industrie zal blijven investeren in hardware door de snelle groei van de vraag. Maar elke softwareverbetering die de kosten per token verlaagt, verandert de economische balans van AI-deployments. Voor eindgebruikers zal het onzichtbaar blijven; voor de rekening-houders is het dat zeker niet.
Veelgestelde vragen
Wat is EAGLE 3.1?
EAGLE 3.1 is een evolutie van de EAGLE-familie van speculative decoding-methoden, die het genereren van taal versnellen door kandidaat-tokens voor te stellen en door het hoofdmodel te laten verifiëren.
Welke problemen lost het op?
Het adresseert attention drift, een verschuiving in de aandacht van de drafter die de acceptatie van speculative tokens vermindert en inefficiëntie betrokken bij inferentie veroorzaakt.
Maakt het modellen 5 keer sneller?
Niet automatisch bij elk model. De snelheidstoename hangt af van model, hardware, setup en context. De gepubliceerde data laten relevante verbeteringen zien, maar niet in alle gevallen identiek.
Waarom is dit belangrijk voor bedrijven?
Omdat het optimaliseren van inferentie kosten kan besparen, latency kan verbeteren en de capaciteit kan verhogen zonder nieuwe hardware aan te schaffen. Vooral bij grote systemen kan zelfs een gematigde verbetering grote besparingen opleveren.
Bronnen: