Generatieve kunstmatige intelligentie heeft het gebruik van AI makkelijker dan ooit gemaakt. Open simpelweg ChatGPT, Claude of Gemini om code te genereren, documenten te analyseren of problemen op te lossen. Als AI-engineer is het essentieel om een minder zichtbare laag te begrijpen: de statistiek die bepaalt hoe modellen leren, worden geëvalueerd en falen. Distributies, variantie, steekproeven, entropie of calibratie blijven waardevolle kennis, zelfs in een industrie gedomineerd door grote taalmodellen (LLM), agenten en multimodale modellen.
De kernpunten van statistiek voor AI-engineering in 30 seconden
- Machine learning-modellen leren statistische relaties van data, dus inzicht in hun distributies helpt problemen te detecteren vóór training.
- Bayes biedt inzicht in hoe een kans verandert wanneer nieuwe informatie verschijnt.
- Variantie, steekproeven en bias verklaren waarom een model goed kan functioneren in het lab en falen in productie.
- Entropie, cross-entropy en KL-divergentie verschijnen direct in talrijke trainingsmethoden.
- Calibratie maakt het mogelijk te testen of je echt kunt vertrouwen op kansschattingen zoals “80% vertrouwen”.
Het verschil tussen het gebruiken van een AI-API en het ontwikkelen van een betrouwbaar systeem wordt duidelijk zodra er iets misgaat.
Een afname die tijdens de training afneemt, garandeert niet dat het model generaliseert. 95% nauwkeurigheid kan verbergen dat klassen niet evenwichtig verdeeld zijn. Een verbetering van 0,3% op een benchmark kan statistisch ruis zijn. En een model dat 90% kans toekent op een antwoord, heeft niet automatisch 90% kans dat het correct is.
Het begrijpen van deze situaties vereist meer dan alleen de nieuwste architectuur kennen.
1. Distributies: inzicht in data vóór training
Een kansverdeling beschrijft hoe vaak verschillende waarden voorkomen in data: welke veel voorkomen, welke zeldzaam zijn, waar ze geconcentreerd liggen en hoezeer ze variëren.
Het is een fundamenteel concept dat voortdurend terugkomt in machine learning.
De normale verdeling of Gaussische verdeling beschrijft veel continue waarden rond een gemiddelde. Bernoulli gaat over binaire uitkomsten. Binomiaal beschrijft het aantal successen in meerdere pogingen.
Categorische of multinomiale verdelingen verschijnen bij meerdere klassen, terwijl Poisson handig is om het aantal gebeurtenissen in een bepaald interval te modelleren.
Niet alle ingenieurs moeten handmatig een verdeling passen; het belangrijkste is te beseffen dat data een statistische structuur hebben en dat het model hier uiteindelijk uit zal leren.
Dit wordt vooral duidelijk bij distribution shift: wanneer de data die in productie gebruikt worden, niet meer lijken op die uit de training.
Het model kan technisch gezien nog steeds goed werken, maar zijn voorspellingen worden minder betrouwbaar.
2. Bayes: voorspellingen bij nieuwe gegevens aanpassen
Het teorema van Bayes formaliseert een eenvoudig idee: een initiële waarschijnlijkheid moet worden bijgewerkt zodra nieuwe bewijzen beschikbaar komen.
Een spamfilter illustreert dit snel.
Stel dat er aanvankelijk een bepaalde kans is dat een e-mail spam is. Daarna worden afzender, woorden, links en andere kenmerken geanalyseerd. Deze bewijzen passen de initieel geschatte kans aan.
Zo gaat het van een prior (vooraf) naar een posterior (achteraf).
Het slimme van Bayes voor AI-engineers ligt meer in het begrijpen van dit mechanisme dan in het uit het hoofd kennen van de formule.
Slimme systemen werken continu met onvolledige informatie en onzekerheid. Het kunnen redeneren over hoe nieuwe bewijzen een kans beïnvloeden, is van grote waarde, niet alleen in bayesiaanse modellen.
3. Verwachting en variantie: waarom modellen soms falen
De verwachte waarde (verwachting) is het gemiddeld te verwachten resultaat van een stochastische variabele. Variantie meet hoe verspreid de waarden zijn rondom dat gemiddelde.
In machine learning komt de variantie overal voor.
Het bekende bias-variance dilemma helpt te verklaren waarom modellen kunnen onder- of overfitting vertonen. Een te simpel model leert niet de onderliggende patronen, terwijl een te complex model zelfs de ruis en fouten uit de training oppikt.
Een overfit model haalt heel goede resultaten op de trainingsdata, maar presteert slechter op nieuwe data.
Ook tijdens optimalisatie ontstaat variantie: door verschillen in berekende gradients over batches kan de training instabiel worden, waardoor batchgrootte een rol speelt.
Daarnaast speelt de lossfunctie een centrale rol.
Een loss function meet in hoeverre het model fout zit. Mean squared error wordt vaak gebruikt bij regressie. Cross-entropy is dominant in classificatie en taalmodellen.
De loss is niet gewoon een nummer dat omlaag moet. De keuze van de lossfunctie bepaalt welke fouten zwaar worden aangerekend en hoe die worden gestraft.
4. Correlatie, causaliteit en het gevaar van patronen leren die er niet toe doen
Machine learning-modellen zijn zeer bedreven in het vinden van correlaties.
Dat kan leiden tot problemen.
Twee variabelen kunnen statistisch gerelateerd lijken, zonder dat er causaal verband bestaat. Bijvoorbeeld: ijsverkoop en zonnebrand, beide nemen toe in de zomer, maar de ene veroorzaakt niet de andere. Temperatuur en blootstelling aan de zon verklaren beide.
Deze confounders zijn vooral problematisch wanneer het model relaties leert die binnen de historische data juist werken, maar in een andere context verdwijnen.
Dat leidt tot bekende problemen bij datateams:
- Data leakage: het model krijgt tijdens training toegang tot informatie die in de praktijk niet beschikbaar is.
- Survivorship bias: alleen succesvolle gevallen worden getraind, terwijl gefaalde gevallen ontbreken.
- De Simpson-paradox: aggregatietrends veranderen wanneer je onderverdelingen bekijkt.
Het model hoeft deze problemen niet te begrijpen om nog steeds correlaties te leren. De ingenieur moet dat wel doen.
5. Een klein verschil van 0,3% op een benchmark kan niet veel betekenen
De AI-sector leeft op tabellen waar kleine procentuele verschillen een grote impact lijken te hebben.
Statistiek stelt een belangrijke vraag: is dat verschil echt significant of kan het door testvariabiliteit komen?
Bijvoorbeeld, een model met 90% nauwkeurigheid en een nieuwe versie met 90,3% op 500 voorbeelden.
Het is niet genoeg om alleen die cijfers te vergelijken. Hypothesetoetsen helpen om te bepalen of het resultaat statistisch betekenisvol is.
Onderwerpen zoals nulhypothese, p-waarde, betrouwbaarheidsintervallen en statistische power bieden inzicht in de mate van bewijs achter de waargenomen verschillen.
De p-waarde bijvoorbeeld zegt niet hoe waarschijnlijk de nulhypothese is, maar hoe compatibel het resultaat met die hypothese is onder de aannames van het testprotocol.
Ook het probleem van meervoudige vergelijkingen speelt een rol: hoe vaker je verschillende configuraties test, hoe groter de kans op toevallige verbeteringen.
Daarom moet het ontwerp van benchmarks en evaluaties zorgvuldig gebeuren. Het is niet zomaar een formaliteit na de training.
6. Steekproeven: een dataset kan bedriegen zonder echte fouten
Een dataset kan volledig correcte data bevatten die toch slecht de werkelijkheid representeren.
Dit verklaart veel fouten bij inzetbare systemen.
Selectiebias treedt op wanneer de steekproef niet representatief is voor de te voorspellen populatie.
Een klassiek voorbeeld is data-imbalancedheid: als 95% van de voorbeelden negatief is, zal een model dat altijd negatief voorspelt, 95% nauwkeurig zijn, maar nutteloos.
Deze situatie lijkt goed, maar is dat niet: het model leert trivialiteiten.
Ook geldt dat de data vaak wordt verondersteld i.i.d. te zijn, maar in werkelijkheid kunnen gebeurtenissen verbonden zijn, zoals tijdreeksen, gebruikersacties of sessies.
Daarom is het niet altijd correct om zomaar datasets willekeurig te splitsen voor training en test.
Een model kan perfect leren van verkeerd gesampelde data.
7. Entropie en KL: informatie theorie in moderne AI
Drie kernbegrippen komen telkens terug bij het begrijpen van hoe modellen leren: entropie, cross-entropy en Kullback-Leibler (KL) divergentie.
Entropie kwantificeert de onzekerheid van een kansverdeling.
Cross-entropy vergelijkt de modellenkansen met de doelverdeling en is een fundamentele verliesfunctie, vooral in classificatie en taalmodellen.
KL-divergentie meet hoe verschillend twee distributies zijn, maar is geen symmetrische afstand.
Deze concepten worden gebruikt in variationale autoencoders, modeldistillatie en diverse trainingstechnieken.
Het begrijpen van deze begrippen helpt bij het interpreteren van wat er gebeurt tijdens het trainen van grote modellen met miljarden parameters.
8. Calibratie: kan een AI weten wanneer hij waarschijnlijk fout zit?
Een van de krachtigste en tegelijk meest genegeerde concepten: calibratie.
Stel dat een classifier 95% nauwkeurig is. Je kijkt naar 1.000 voorspellingen met ongeveer 80% vertrouwen.
Een goed gecalibreerde classifier zou hier ongeveer 80% van correct moeten hebben. Als dat slechts 60% is, dan overschat hij zijn vertrouwen. Als 95%, dan is hij te voorzichtig.
Kort samengevat:
Accuracy geeft aan hoe vaak het model correct is. Calibratie laat zien in hoeverre de kansvoorspellingen overeenkomen met het daadwerkelijke correctheidspercentage.
Tools zoals betrouwbaarheidsschema’s en metrics als Expected Calibration Error (ECE) helpen deze afstemming te beoordelen.
Dit is vooral cruciaal wanneer de uitkomst van de voorspelling verdergaat dan alleen de directe voorspelling, bijvoorbeeld in automatische besluiten of prioritaire tasks.
Als probabiliteiten niet goed zijn gekalibreerd, kunnen daarop gebaseerde systemen verkeerde beslissingen nemen.
Statistiek blijft relevant in het tijdperk van grote taalmodellen en agenten
De AI-wereld verandert snel. Je kunt tegenwoordig werken met reeds getrainde modellen, retrieval-based systemen (Retrieval-Augmented Generation), agenten, embeddings, fine-tuning of API’s, zonder zelf een groot neuraal netwerk te trainen.
Dat betekent niet dat statistiek niet meer nodig is.
Het verschuift alleen waar je het toepast: in evaluatie, experimentontwerp, dataselectie, metrics, aanbevelingssystemen, anomaliedetectie en probabilistische interpretatie.
Het helpt ook bij het stellen van betere vragen bij problemen:
- Is de data-distributie veranderd?
- Wat is de basiskans?
- Zijn er confounders?
- Naast statistische verbeteringen, is er echt een echte vooruitgang?
- Is het model goed gekalibreerd?
- Staat de evaluatie-setting nog representatief voor productie?
Deze vragen, minder opvallend dan het aankondigen van een nieuw gigantisch model, bepalen vaak of een AI-systeem daadwerkelijk levensvatbaar en betrouwbaar is op lange termijn.
Je hoeft geen volledige statistiekhandleiding uit je hoofd te kennen om te starten met AI-ontwikkeling. Het is wél belangrijk te begrijpen wat de getallen betekenen die uit experimenten komen.
Want “de verlieswaarde is gedaald” of “het nieuwe model behaalt 2% meer nauwkeurigheid” zouden slechts het begin moeten zijn van je analyse, niet het einde.
Veelgestelde vragen
Is statistiek nodig om als AI-engineer te werken?
Dat hangt af van de rol, maar kennis van basisconcepten is zeer nuttig voor model-evaluatie, datavoorbereiding en begrip van generalisatieproblemen, onzekerheid en experimenten.
Welke statistische concepten zou een AI-ontwikkelaar eerst moeten leren?
Distributies, kansrekening, verwachting, variatie en steekproeven vormen een goede basis. Daarna zijn hypothesetests, informatie-theorie en calibratie aan de beurt.
Waarom is statistiek relevant bij het gebruik van al getrainde modellen?
Omdat het nog steeds nodig is om hun resultaten te evalueren, tests te ontwerpen, data te selecteren en te bepalen wanneer je op hun voorspellingen kunt vertrouwen. Het gebruik van een API betekent niet dat deze problemen verdwijnen.
Wat is het verschil tussen accuracy en calibratie?
Accuracy geeft aan hoe vaak het model het correct heeft. Calibratie meet of de kansvoorspellingen overeenkomen met de werkelijke correcte frequentie.