Cloudflare heeft een nieuw gratis hulpmiddel gelanceerd dat is ontworpen om hun klanten te beschermen tegen ‘web scraping’ door Kunstmatige Intelligentie (AI) bots. Deze maatregel probeert te voorkomen dat dergelijke bots gegevens van websites verzamelen en draagt bij aan een veiliger internet voor content creators.
Een Antwoord op de Vraag naar Gegevens van Generatieve AI
De opkomst van generatieve AI heeft de vraag naar data voor het trainen van modellen en het maken van inferenties aanzienlijk verhoogd. Om aan deze vraag te voldoen, wenden veel bots zich tot ‘web scraping’, een proces waarbij HTML-inhoud van websites wordt geëxtraheerd om deze op te slaan en te gebruiken in de training van AI-algoritmes.
Hoewel ‘web scraping’ legaal is, heeft het excessieve en ondoorzichtige gebruik ervan door sommige bots zorgen gewekt onder website-eigenaren. Cloudflare heeft gereageerd op dit probleem door een nieuwe functie in hun internetveiligheidsdienst op te nemen die automatisch AI bots die zich met ‘web scraping’ bezighouden, blokkeert.
Nieuwe Veiligheidsfunctie om AI Bots te Blokkeren
Het hulpmiddel van Cloudflare, beschikbaar voor alle klanten, inclusief degenen die gebruik maken van het gratis serviceniveau, streeft ernaar extra controle over de toegang tot gegevens te bieden. Om het te activeren, moeten gebruikers naar het ‘Beveiliging’ menu gaan in hun controlepaneel, ‘Bots’ selecteren en de optie ‘AI Scrapers en Trackers’ inschakelen. Eenmaal geactiveerd, zal de functie beginnen met het blokkeren van scraping-pogingen door deze bots.
Cloudflare heeft dit hulpmiddel ontworpen met de mogelijkheid om zichzelf automatisch bij te werken om nieuwe kenmerken van overtredende bots op te nemen, waardoor continue bescherming tegen opkomende dataverzamelingsmethoden wordt gegarandeerd.
Onthullende Gegevens over het Gebruik van AI Bots
Volgens de gegevens verstrekt door Cloudflare zijn AI bots uitermate actief op het web. Bytespider van ByteDance, Amazonbot van Amazon, ClaudeBot van Claude, en GPTBot van OpenAI zijn enkele van de meest actieve op hun platform. Bytespider leidt de lijst met pogingen tot toegang tot 40,40% van de klantenwebsites, gevolgd door GPTBot met 35,46%. ClaudeBot heeft geprobeerd toegang te krijgen tot 11,17% van de sites.
Deze cijfers onderstrepen de prevalentie en impact van AI bots op het verzamelen van informatie, en benadrukken het belang van effectieve maatregelen om gegevens op websites te beschermen.
Een Expanderend Probleem
In juni van dit jaar werd vastgesteld dat AI bots toegang hadden tot 39% van de top één miljoen websites beschermd door Cloudflare. Echter, slechts 2,98% van deze sites had op dat moment maatregelen genomen om dergelijke verzoeken te blokkeren.
Cloudflare blijft toegewijd aan haar missie om de veiligheid op het internet te handhaven en te garanderen dat content creators controle hebben over hoe hun materiaal wordt gebruikt om AI-modellen te trainen. Het bedrijf merkt ook op dat andere platforms, zoals Reddit, soortgelijke maatregelen nemen, zoals het bijwerken van hun Robots Exclusion Protocols om geautomatiseerde toegang tot publieke gegevens te beperken.
Samengevat, met de implementatie van deze nieuwe functie, versterkt Cloudflare zijn rol in de bescherming van privacy en gegevensbeveiliging op het web. Door het bieden van een effectief hulpmiddel voor het blokkeren van AI bots, helpt het bedrijf niet alleen bij het bewaren van de integriteit van online inhoud, maar draagt het ook bij aan een veiliger en respectvoller internet voor de rechten van content creators.