Cloudflare presenteert een eenvoudig idee met grote implicaties voor iedereen die werkt met taalmodellen: het serveren van een Markdown-versie van een webpagina op aanvraag, zonder de site te hoeven aanpassen of dubbele versies te onderhouden. De introductie heet Markdown for Agents en haar belofte vertaalt zich in een simpele vergelijking: een pagina die in HTML 16.180 tokens consumeert, wordt in Markdown slechts 3.150 tokens, wat neerkomt op ongeveer een 80% minder aan “contextbudget”.
Deze maatregel komt op een moment dat het verkeer niet meer alleen van zoekmachines en menselijke gebruikers afkomstig is. Steeds meer hulpmiddelen en AI-agenten doorzoeken documentatie, vergelijken informatie of halen content op om vragen te beantwoorden, code te genereren of taken te automatiseren. In dit scenario wordt HTML — ontworpen om een interface weer te geven — een last: menu’s, lagen, stijlen, scripts en sjablonen nemen tokens in beslag… zelfs als ze geen betekenis toevoegen aan het model.
Hoe werkt het: inhouds negotiating via HTTP en conversie aan de edge
Het mechanisme berust op een klassiek internetconcept: content negotiation via HTTP-headers. Als de client (een agent, crawler of ontwikkelhulpmiddel) een verzoek stuurt met:
Accept: text/markdownen de domeinconfiguratie deze optie heeft ingeschakeld, dan haalt Cloudflare de originele HTML van de server, zet het om in Markdown op haar netwerk en levert een schoon document terug met content-type: text/markdown. Daarnaast wordt een Vary: accept-header toegevoegd om varianten in cache te scheiden.
Cloudflare geeft zelf aan dat sommige encoding-agenten hier al standaard gebruik van maken, zoals Claude Code en OpenCode. Hierdoor wordt de wijziging vrijwel automatisch onderdeel van het ecosysteem.
Er is bovendien een zeer relevante toevoeging voor “LLMs”: de Markdown-reactie kan een kop x-markdown-tokens bevatten met een schatting van de grootte in tokens, wat handig is om te bepalen of het in het contextvenster past of dat het in stukken moet worden gesplitst.
Vergelijkingstabel: HTML vs Markdown voor AI-agenten
| Aspect | HTML (web “voor mensen”) | Markdown (web “voor agenten”) | Praktische impact op LLMs/agenten |
|---|---|---|---|
| Token-grootte | Hoog: bevat structuur, stijlen, scripts en “ruis” | Laag: tekst en minimale hiërarchie | Meer nuttige content per contextvenster; lagere kosten per vraag |
| Semantische leesbaarheid | Afhankelijk van de markup (semantisch vs “divitis”) | Afhankelijk van HTML-conversie | Chaotisch HTML resulteert ook in chaotisch Markdown (geen magie) |
| Inhoudshiërarchie | Bestaat, maar kan verloren gaan door sjablonen | Koppen, lijsten en secties zijn helderder | Beter opdelen en ophalen per sectie in RAG en agenten |
| Format-onderhandeling | Natuurlijk voor browsers | Natuurlijk voor agenten (via Accept) | Zelfde inhoud, verschillende representaties zonder andere URL |
| Controle door uitgever | Levert HTML “zoals het is” | Opt-in voor een alternatieve representatie | Welke representatie wordt aangeboden, bepaalt de uitgever |
| Gebruiks-signalen voor AI | Niet altijd expliciet | Kan standaard Content-Signal bevatten | Discussie over governance en gebruiksbeleid |
| Compatibiliteit met dynamische inhoud | Volledig (rendering op client) | Beperkt als HTML geen actuele inhoud bevat | Voor SPAs mogelijk onvoldoende; Cloudflare suggereert alternatieven met echte rendering |
| Risico’s op “dubbele werkelijkheid” | Zeér laag: één format | Hoger: varianten voor bots | Debat over “cloaking” en verificatie wordt actueel |
Wat dit betekent voor techmedia: efficiëntie, traceerbaarheid en metrics
Meer dan alleen kostenbesparing, zijn er twee belangrijke technische inslagen:
1) Observatie van gebruik door agenten. Cloudflare benadrukt dat Radar al inzicht biedt in inhoudstype dat aan bots en crawlers wordt geserveerd, met filters om de verdeling over MIME-type te bekijken en Markdown-verzoeken per agent te detecteren (inclusief OAI-Searchbot).
In een wereld waar „fantasie“ meer is dan alleen menselijke bezoekers, wordt het meten van machine-gebruik een strategische variabele.
2) Een standaard in plaats van toch nog heuristische, individuele oplossingen. Tot nu toe converteerden veel agents hun HTML naar tekst of Markdown met eigen regels, wat resulteerde in inconsistente resultaten. Nu gebeurt de conversie “aan de rand” van het netwerk op een uniforme wijze. De keerzijde is dat een “vertoonslaag” wordt gedelegeerd aan een tussenlaag, en de nauwkeurigheid afhankelijk wordt van hoe Cloudflare HTML interpreteert.
Beperkingen (en waarom ze van belang zijn voor productie)
Cloudflare stelt duidelijke limieten: bijvoorbeeld wordt geen Markdown teruggegeven als de serverantwoordeantwoord geen content-length bevat of als de response groter is dan 1 MB (1.048.576 bytes). In dat geval wordt de originele HTML teruggegeven. Ook ondersteunt het geen compressie van server-antwoorden, en op dit moment wordt alleen HTML omgezet.
Voor websites met uitgebreide documentatie of zeer zware pagina’s is dit relevant: het betekent dat headers, grootte en cachegedrag goed afgestemd moeten worden om betrouwbare conversies te garanderen.
Voor dynamische inhoud suggereert Cloudflare alternatieven zoals een Browser Rendering-endpoint dat eerst HTML rendert in een echte browser, en daarna in Markdown converteert. Zo wordt ook actuele, dynamische content beter ondersteund.
Het onvermijdelijke debat: optimalisatie voor agenten of een nieuwe vorm van cloaking?
Zoals verwacht, heeft deze ontwikkeling ook discussie veroorzaakt in de SEO-gemeenschap. Sommigen vrezen dat een “voor machines” versie kan worden misbruikt om te “cloaken”: verschillende inhoud laten zien aan zoekmachines dan aan echte gebruikers. Search Engine Land belicht dit zorgpunt en wijst op mogelijke vormen van “AI cloaking” wanneer de dualiteit niet goed wordt beheerd.
Cloudflare probeert dat te beperken door geen andere URL te gebruiken, maar ze hanteren vooral headers om varianten te presenteren. Desalniettemin blijft de uitdaging: bij meerdere representaties moet iemand bepalen wat de “echte” inhoud is, of er een controle op plaatsvindt.
Conclusie: Markdown helpt, maar lost geen slecht HTML op
‘Markdown for Agents’ is een pragmatische verbetering voor webcontent die door agenten wordt gebruikt: minder tokens, meer bruikbare content en een standaardaanvraag. Maar de uiteindelijke kwaliteit blijft afhankelijk van de basis: semantisch en goed gestructureerd HTML. Als de pagina is opgebouwd uit een wirwar van containers en betekenisloze elementen, zal de conversie weinig “redden”.
Praktisch opent dit een nieuwe discipline voor technische en contentteams: niet alleen schrijven voor mensen of zoekmachines, maar ook voor machines die pagina’s vertalen naar beter verwerkbare formaten.
Veelgestelde vragen
Hoe kan ik Markdown for Agents activeren op mijn website?
Het wordt ingeschakeld per zone in Cloudflare via de optie “Markdown for Agents”, en agents geven Accept: text/markdown mee in de request headers.
Hoeveel tokenbesparing levert het op, van HTML naar Markdown?
Dit hangt af van de pagina, maar Cloudflare heeft voorbeelden gedeeld met reducties tot bijna 80%, zoals van 16.180 tokens (HTML) naar 3.150 (Markdown).
Wat zijn de technische beperkingen van de conversie?
Het werkt niet zonder content-length, en stopt bij responses boven 1MB. Ook ondersteunt het geen compressie en alleen HTML.
Is het ‘cloaking’ als ik Markdown server voor agenten en HTML voor mensen?
Het debat is er: het is geen andere URL, maar wel een andere representatie op basis van headers. Sommigen zien dit als een vorm van cloaking en adviseren controlemechanismen.