De web betreedt een nieuwe en veel complexere fase dan die van de traditionele crawlers. Het gaat niet langer alleen om bots die pagina’s indexeren of automatische tools die gegevens verzamelen, maar om Kunstmatige Intelligentie-agenten die kunnen navigeren, informatie opvragen, communiceren met applicaties en zelfs acties uitvoeren namens gebruikers of bedrijven. In dit kader hebben Cloudflare en GoDaddy een strategisch partnerschap aangekondigd met een heel concreet doel: eigenaars van websites meer controle geven over hoe hun inhoud wordt gebruikt door IA-systemen en tegelijkertijd open standaarden stimuleren om deze agenten op een verificeerbare manier te identificeren.
De aankondiging, openbaar gemaakt op 7 april, is gebaseerd op een duidelijke gemeenschappelijke visie: als de zogenaamde web-agentiek groeit zonder mechanismen voor identiteit, vertrouwen en controle, kunnen veel webeigenaars — vooral kleine bedrijven, contentmakers en onafhankelijke sites — geconfronteerd worden met moeilijk te detecteren geautomatiseerd verkeer dat moeilijk te beheren is en in sommige gevallen potentieel misbruik bevat. Het partnerschap richt zich erop om dit scenario voor te zijn met tools die laten zien wie toegang krijgt, onder welke identiteit en met welke permissies.
Meer controle voor webmasters tegen IA-crawlers
Het eerste praktische resultaat van het akkoord is de integratie van AI Crawl Control van Cloudflare binnen het hostingplatform van GoDaddy. Deze functie stelt webeigenaren in staat duidelijker te bepalen welke IA-crawlers toegang moeten krijgen tot hun inhoud, welke geblokkeerd moeten worden en, in sommige gevallen, of dat toegang onder bepaalde economische voorwaarden moet plaatsvinden. Cloudflare positioneert deze tool als een middel om intellectueel eigendom te beschermen, de siteprestaties te verbeteren en te voorkomen dat herhaald scraping door bots de analytische gegevens vertroebelt of de server overbelast.
Wat hier vooral relevant is, is niet alleen de technologie, maar ook wie ervan profiteren kan. GoDaddy is nog steeds een van de grootste spelers op het gebied van domeinen, hosting en tools voor kleine bedrijven. Dankzij deze integratie kunnen gebruikers die doorgaans geen complexe infrastructuur of geavanceerde beveiligingsregels hanteren, toch controle krijgen over IA-crawlers die hun site bezoeken. Kort gezegd: Cloudflare levert de technische basis, en GoDaddy zorgt voor brede distributie over miljoenen kleine en middelgrote websites.
Dit sluit aan bij een bredere discussie over de economische toekomst van het web. Naarmate IA-gegenereerde antwoorden het klassieke zoek- en klikmodel gaan vervangen, vragen veel uitgevers, contentmakers en digitale ondernemers zich af hoe ze waarde kunnen blijven creëren als hun inhoud zonder voldoende terugkerend verkeer wordt geconsumeerd. Cloudflare en GoDaddy presenteren hun samenwerking als een mogelijke technologische stap richting dat nieuwe evenwicht: meer zichtbaarheid, meer beslissingsmogelijkheden en een infrastructuur die de overgang maakt van impliciete toegang naar een op permissies en voorwaarden gebaseerd model.
De grote ambitie: agenten identificeren met naam, verificatie en ondertekening
De tweede pijler van het akkoord is ambitieuzer en strategisch van aard op middellange termijn. GoDaddy promoot Agent Name Service (ANS), een open standaard ontwikkeld om IA-agenten een verificeerbare identiteit te geven gebaseerd op bewezen internettechnologieën zoals DNS en PKI. Het idee is dat een agent niet zomaar “een bot” is, maar een entiteit met een consistente naam, verifieerbare identiteit en de mogelijkheid om door andere systemen ontdekt en gevalideerd te worden.
Cloudflare beperkt zich niet tot een niet-specifieke steun voor ANS. Het herinnert eraan dat het in 2025 Web Bot Auth introduceerde, een cryptografisch mechanisme waarmee het verkeer van bots en agenten kan worden geverifieerd, evenals Signature Agent Card, waarmee ontwikkelaars transparant kunnen communiceren wie een agent bedient en wat diens doel is. In het kader van de samenwerking stelt Cloudflare dat de toekomstige web-agentiek niet gebaseerd moet zijn op obscure identiteiten, maar op een open ecosysteem van verificeerbare standaarden.
Dit is belangrijk omdat de volgende fase van het internet niet volledig op dezelfde manier zal functioneren als de vorige. Als een agent data gaat raadplegen, reserveringen maakt, gespecialiseerde zoekopdrachten uitvoert of zelfs autonome aankopen doet, is het niet meer voldoende om enkel “mens” versus “bot” te onderscheiden. Men moet ook kunnen vaststellen wie de agent is, wie deze bedient, wat de toegangsrechten zijn en of de identiteit authentiek of nep is. Cloudflare en GoDaddy proberen hierop in te spelen door een vertrouwensarchitectuur te ontwikkelen die niet uitsluitend op heuristieken of reputatie vertrouwt.
Een partnerschap met politieke en economische impact voor de toekomst van het web
Los van de officiële communicatie is duidelijk dat dit een strijd is om de spelregels van het web voor de komende jaren te bepalen. Al in november 2025 had GoDaddy de ontwikkeling van ANS aangekondigd als een betrouwbaar systeem voor identiteiten van IA-agenten, met open toegang tot hun API en documentatie voor developers. Het partnerschap met Cloudflare versnelt deze ontwikkeling omdat het een essentiële infrastructuurlaag toevoegt: netwerk, beveiliging en toegangscontrole die een enorme rol speelt in het internetlandschap.
De kern van de zaak is dat IA niet alleen producten, maar ook normen voor digitale omgangsvormen hertekent. Wie mag crawlen, wie mag handelen, hoe wordt identiteit vastgesteld, hoe wordt geaudit en hoe wordt de waarde van content beschermd? Dit soort vragen raakt het economische model van het open web. Cloudflare en GoDaddy lossen dat niet zelfstandig op, maar proberen wel een eerste technische laag te leggen waardoor dit ecosysteem niet in handen komt van obscure agenten of een ongelijke machtsverhouding tussen grote platformen en kleine eigenaren van websites.
Daarom verdient deze samenwerking bijzondere aandacht. Het is niet enkel een productintegratie of een persbericht over botmanagement. Het is vooral een teken dat de transitie naar de web-agentiek al in gang gezet is, met inzet van infrastructuur, identiteit en governance. Wanneer grote spelers zoals Cloudflare en GoDaddy die lagen beginnen op te bouwen, betekent dat meestal dat ze verwachten dat de verandering niet te ver weg of abstract is, maar snel werkelijkheid wordt.
Veelgestelde vragen
Wat is AI Crawl Control van Cloudflare?
Een tool waarmee webmasters kunnen bepalen hoe IA-crawlers hun inhoud benaderen, met opties om toegang toe te laten, te blokkeren of te condicioneren. Cloudflare presenteert het als een middel om content te beschermen, de prestaties te verbeteren en analytische gegevens te zuiveren van geautomatiseerd scraping-verkeer.
Wat is Agent Name Service (ANS)?
Een open standaard, ontwikkeld door GoDaddy, die IA-agenten een verificeerbare en discoverbare identiteit geeft, gebaseerd op DNS en PKI. Het systeem fungeert als een naam- en identiteitsplatform voor agenten op internet.
Wat betekent deze alliantie voor kleine bedrijven?
In theorie krijgen kleine bedrijven betere tools om te zien en te controleren hoe IA-systemen hun website crawlen, en in de toekomst om legitieme agenten te onderscheiden van opkomst zijnde kwaadaardige of ondoorzichtige geautomatiseerde verkeer, zonder dat zij daarvoor complexe infrastructuur hoeven te implementeren.
Creëren Cloudflare en GoDaddy een gesloten standaard voor web-agenten?
Niet precies. Beiden spreken van open standaarden en een breed ecosysteem van verificatie-methoden voor agenten, met ANS als kernonderdeel en ondersteuning voor mechanismen zoals Web Bot Auth en Signature Agent Card.
vía: cloudflare