Vulsar AI heeft een benchmark gepubliceerd die de creatieve schrijftoepassingen van 24 kunstmatige intelligentiemodellen test en vergelijkt met teksten van menselijke auteurs. De studie, gebaseerd op 475 prompts, plaatst GPT 6 Astra met een verwachte succespercentage van 87,8 % in de algemene ranglijst, tegenover 86,6 % voor de menselijke referentie. De verschillen worden echter groter wanneer onderscheid wordt gemaakt tussen professionele en hobbyistische schrijvers.
De kernpunten van de Vulsar creatieve schrijfbenchmark in 20 seconden
- Vulsar heeft 24 AI-modellen vergeleken met menselijke schrijvers via 475 prompts.
- GPT 6 Astra behaalt een verwachte succesratio van 87,8 % in de algemene uitslag.
- Menselijke schrijvers scoren 86,6 % in dezelfde classificatie.
- Voor professionele schrijvers daalt Astra naar 76,2 %, terwijl de menselijke referentie bijna perfect is met 99,9 %.
- Onder hobbyisten bereikt Astra 93,9 %, tegenover 79,7 % bij menselijke amateurs.
De benchmark, gepubliceerd op 17 september 2026, probeert een capaciteit te meten die lastiger te vergelijken is dan de gebruikelijke tests in wiskunde, programmeren of kennis. Vulsar zoekt niet alleen te bepalen of een model coherente tekst kan genereren, maar ook welke verhalen het meest door mensen worden gewaardeerd.
De methode gebruikt een beloningsmodel dat is getraind op menselijke voorkeuren voor creatieve teksten. Vulsar gebruikt geen ander taalmodel als ultieme beoordelaar of een traditionele beoordelingsrubriek met meerdere criteria. Het systeem vergelijkt de antwoorden en berekent een voorspelde overwinningratio voor elk deelnemend model.
GPT 6 Astra leidt de algemene ranglijst
GPT 6 Astra behaalt een verwachte succesratio van 87,8 %, vergeleken met 86,6 % voor de menselijke referentie. Het verschil van 1,2 procentpunt wordt gepresenteerd als een inschatting van voorkeur, niet als een absolute maat voor literaire kwaliteit.
| Positie | Model of referentie | Verwachte overwinning |
|---|---|---|
| 1 | GPT 6 Astra | 87,8 % |
| 2 | Menselijke schrijvers | 86,6 % |
| 3 | GPT 5.6 Sol | 77,6 % |
| 4 | Muse Spark 1.3 | 70,6 % |
| 5 | Claude Fable 5.1 | 70,3 % |
| 6 | Claude Opus 5 | 63,4 % |
| 7 | GPT 5.6 Terra | 62,6 % |
| 8 | GPT 5.6 Luna | 61,8 % |
| 9 | Kimi K3 | 61,0 % |
| 10 | Grok 4.6 | 59,3 % |
Onder de modellen vinden we GLM 5.3 Flash met 54,6 %, Qwen3.8 2.4T A95B met 53,9 %, en Inkling met 52,3 %. Verder naar onderen in de ranglijst staan Gemma 4 31B met 23,4 %, Qwen3.8 27B met 23,2 %, DeepSeek V4.1 Flash met 19,8 %, DeepSeek V3.2 met 16,5 %, en Gemma 4 26B A4B met 10,9 %.
De studie registreert ook verschillen in de lengte van verhalen. Menselijke schrijvers produceren gemiddeld 2.592 tokens, terwijl GPT 6 Astra op 1.537 blijft. Claude Opus 5 haalt 2.330 tokens en Claude Fable 5.1 bereikt 2.114 tokens.
Lengte wordt echter niet als criterium gebruikt voor de rangschikking. De benchmark is ontworpen om de verwachte voorkeur te meten volgens het beloningsmodel van Vulsar.
Professionele schrijvers maken een veel groter verschil
Het verschil wordt duidelijker wanneer de benchmark professionele auteurs onderscheidt. In deze categorie behaalt menselijke auteurs een succesratio van 99,9 %. GPT 6 Astra scoort 76,2 %, terwijl Grok 4.6 78,5 % behaalt.
| Positie | Model of referentie | Verwachte overwinning |
|---|---|---|
| 1 | Professionele schrijvers | 99,9 % |
| 2 | Grok 4.6 | 78,5 % |
| 3 | GPT 6 Astra | 76,2 % |
| 4 | Claude Fable 5.1 | 69,8 % |
| 5 | Muse Spark 1.3 | 64,9 % |
| 6 | Qwen3.8 2.4T A95B | 63,6 % |
| 7 | Claude Opus 5 | 63,3 % |
| 8 | GPT 5.6 Sol | 63,1 % |
De verschillen in tekstlengte tussen AI-modellen en professionele auteurs bevestigen dat professionele auteurs gemiddeld 4.528 tokens per verhaal produceren, tegenover 1.745 tokens voor GPT 6 Astra. Vulsar benadrukt dat de prompts voor professionele schrijvers meer gedetailleerde instructies en eisen bevatten, zodat deze classificatie niet simpelweg kan worden vergeleken met de algemene rangorde.
De vergelijking toont dat de prestaties van een model kunnen variëren afhankelijk van de taak en het niveau van de menselijke referentie. Een wereldwijde ranking verdoezelt die nuances.
Modellen presteren beter bij hobbyisten
In de categorie van hobbyistische schrijvers laten modellen een ander patroon zien. GPT 6 Astra behaalt 93,9 %, GPT 5.6 Sol 85,2 %, en de referentie onder hobbyisten ligt op 79,7 %.
| Positie | Model of referentie | Verwachte overwinning |
|---|---|---|
| 1 | GPT 6 Astra | 93,9 % |
| 2 | GPT 5.6 Sol | 85,2 % |
| 3 | Hobbyistische schrijvers | 79,7 % |
| 4 | Muse Spark 1.3 | 73,5 % |
| 5 | Claude Fable 5.1 | 70,5 % |
| 6 | GPT 5.6 Terra | 70,2 % |
| 7 | GPT 5.6 Luna | 67,4 % |
| 8 | Claude Opus 5 | 63,5 % |
De significante dal tussen deze categorie en die van professionele auteurs is een van de meest opvallende uitkomsten. GPT 6 Astra scoort 93,9 % bij hobbyisten maar daalt naar 76,2 % bij professionele auteurs.
Het resultaat impliceert dat de vergelijking altijd afhankelijk blijft van de gebruikte prompts, de referentiegroep en het systeem om voorkeuren te meten, zodat geen echte algemene uitspraak gemaakt kan worden over of AI beter schrijft dan mensen.