Cloudflare Introduce Universele Knop om AI-Robots te Blokkeren Zonder Toestemming
In een baanbrekende stap die de rechten van originele content op het internet kan herdefiniëren, heeft Cloudflare aangekondigd dat het een nieuwe functie lanceert: een knop waarmee gebruikers met één klik alle bots en AI-robots kunnen blokkeren. Deze tool is zelfs beschikbaar voor gebruikers van het gratis abonnement.
Deze maatregel is een reactie op de groeiende frustratie onder redacteuren, media, bedrijven en digitale makers over het massale gebruik van hun content voor het trainen van AI-modellen, vaak zonder toestemming of financiële compensatie. Volgens Matthew Prince, CEO van Cloudflare: “AI-robots hebben ongecontroleerd content gescraped. Ons doel is om de macht terug te geven aan de makers.”
De Waarde van Data en de Groei van Stille Bots
De opkomst van generatieve kunstmatige intelligentie heeft de vraag naar originele content dramatisch verhoogd, van artikelen en essays tot gebruikerscommentaren. Bedrijven zoals Google betalen miljoenen om legaal toegang te krijgen tot deze data, zoals de $60 miljoen per jaar die aan Reddit wordt betaald, maar andere bedrijven hebben gekozen voor minder transparante methoden.
Een van de meest controversiële gevallen is dat van Perplexity, dat beschuldigd wordt van het vermommen van zijn bots als normale bezoekers om toegangslimieten te omzeilen. In het licht van deze onduidelijkheid heeft Cloudflare gekozen voor een duidelijke en krachtige maatregel.
Hoe Werkt Dit Nieuwe Blokkeer Systeem?
Voortaan kan elke Cloudflare-klant naar het dashboard gaan en onder het tabblad Beveiliging > Bots de optie “AI Scrapers and Crawlers” inschakelen. Hierdoor wordt hun website beschermd tegen bots die als dataverzamelaars voor AI worden geïdentificeerd.
Deze lijst wordt automatisch bijgewerkt met nieuwe handtekeningen naarmate er massale scraping-gedragingen worden gedetecteerd. Het systeem is geïntegreerd met Cloudflare’s machine learning-algoritmen om verdachte activiteiten te identificeren, zelfs wanneer bots proberen zich te camoufleren.
Een Overzicht van de Meest Actieve Bots
Volgens gegevens verzameld door Cloudflare in juni 2025 zijn de meest actieve bots op hun netwerk:
| AI-Bot | Percentage van Toegang tot Sites |
|---|---|
| Bytespider | 40,40 % |
| GPTBot | 35,46 % |
| ClaudeBot | 11,17 % |
| ImagesiftBot | 8,75 % |
| CCBot | 2,14 % |
Bytespider, beheerd door ByteDance (het moederbedrijf van TikTok), en GPTBot van OpenAI zijn onder de meest agressieve operators, waarbij veel van deze bots de robots.txt-instructies negeren.
Betalen voor Scraping: Monetariseren van Toegang tot Originele Content
Naast de blokkeerfunctie lanceert Cloudflare ook een “Pay-per-Scrape” platform, waarmee website-eigenaren tarieven kunnen instellen zodat AI-bedrijven legaal toegang kunnen krijgen tot hun content. Vooralsnog is deze optie beschikbaar voor enkele toonaangevende media, zoals The Atlantic, Stack Overflow en Quora, maar uitbreiding wordt verwacht.
Dit model is bedoeld om een ethisch en economisch evenwicht te herstellen: als technologiebedrijven de menselijke content willen gebruiken om hun modellen te trainen, moeten ze daarvoor betalen.
Wat Betekent Dit voor de Toekomst van het Internet?
De aankondiging komt op een cruciaal moment. Steeds meer gebruikers raadplegen direct chatbots zoals ChatGPT in plaats van originele websites, wat het verkeer naar content sites vermindert en vragen oproept over de duurzaamheid van het digitale ecosysteem.
Zoals Prince opmerkt: “Mensen vertrouwen in de afgelopen zes maanden meer op AI, wat betekent dat ze geen originele content lezen. Dat is een directe bedreiging voor de makers.”
Een Vastberaden Stap Richting Transparantie en Digitale Rechten
Cloudflare biedt niet alleen bescherming, maar wil ook de verificatie van legitieme bots vergemakkelijken. Het werkt samen met AI-bedrijven om hen te laten verklaren wat hun doel is (training, inferentie, zoeken), zodat web-eigenaren kunnen bepalen wat ze willen toestaan of blokkeren.
Met deze initiatief versterkt Cloudflare zijn positie als een bondgenoot van creators en verdedigers van intellectueel eigendom in het tijdperk van kunstmatige intelligentie. En het geeft een duidelijke waarschuwing af: de tijd van ongecontroleerd scrapen kan voorbij zijn.
Bron: blog.cloudflare.com