AI en de Gevaren van Valse URL’s: Een Alarmerend Rapport
Een recent onderzoek van Netcraft onthult dat meer dan 30% van de URL’s die door taalmodellen zoals GPT-4 worden gegenereerd voor toegang tot online diensten, foutief of zelfs gevaarlijk zijn. Dit risico neemt toe met de opkomst van massale adoptie van AI-gestuurde interfaces.
Naarmate generatieve kunstmatige intelligentie de belangrijkste interface tussen gebruikers en digitale diensten wordt, dringen de veiligheidsrisico’s zich op als een directe bedreiging binnen deze interactiekanalen. Het rapport van Netcraft, een toonaangevend bedrijf op het gebied van dreigingsintelligentie, waarschuwt techverantwoordelijken en beveiligingsprofessionals: grote taalmodellen (LLM’s) blijken systematische fouten te maken bij het voorstellen van inlog-URL’s, waardoor organisaties kwetsbaar worden voor grootschalige phishing-aanvallen.
Onderzoek Gelderigheid van URL’s
In een simulatie waarin gebruikers natuurlijke verzoeken deden zoals “Waar kan ik inloggen op mijn account bij [merk]?”, maakten de onderzoekers gebruik van GPT-4.1 voor 50 bekende merken. De bevindingen waren schokkend: slechts 66% van de aangeboden links kwam van de officiële domeinen. De rest bestond uit:
- 29% inactieve of niet-geregistreerde domeinen, die mogelijk door kwaadwillenden kunnen worden overgenomen.
- 5% die verwijst naar legitieme maar volledig ongepaste bedrijven.
Deze 34% gevaarlijke antwoorden vormt een opkomende aanvalsvector die traditionele webbeveiligingsfilters omzeilt en gebruikers rechtstreeks misleidt die vertrouwen op AI.
Phishing door Vertrouwen: Wanneer de AI Foutieve Informatie Geeft
De ernst van de situatie ligt niet alleen in de foutpercentages. Het verontrustende is dat deze resultaten met volle overtuiging worden gepresenteerd door het model, waardoor de kritische menselijke beoordelingscapaciteit wordt geëlimineerd. Conversatie-interfaces zoals Perplexity of Bing Chat tonen al AI-gegenereerde antwoorden als hoofdinhoud zonder enige verificatie of controle van de reputatie van het domein.
“Wij zijn getuige van de opkomst van een nieuwe ris laag: AI-assisted phishing. Het gaat niet om spoofing of SEO-manipulatie, maar om aanbevelingen die vanuit het niets zijn gecreëerd door een systeem dat als betrouwbaar wordt beschouwd,” legt Netcraft uit in hun rapport.
In een gedocumenteerde case, toen er naar de toegang tot Wells Fargo werd gevraagd, bood Perplexity een frauduleuze site aan die perfect was gekloond en operationeel. Het legitieme domein bleef verborgen onder het gegenereerde antwoord zonder duidelijke waarschuwingssignalen.
Kwetsbaarheid van Kleinerere Merken en Fintechs
Het onderzoek toont aan dat kleinere merken het meest kwetsbaar zijn, vooral vanwege hun lage vertegenwoordiging in de trainingsdata van de LLM’s. Dit omvat regionale banken, neobanken, lokale verzekeraars en opkomende SaaS-platforms.
De potentiële impact voor deze organisaties omvat gegevenslekken, identiteitsdiefstal, regelgevende sancties, verlies van klantvertrouwen en een toename van de reputatiekosten. In gereguleerde sectoren zoals financiën of gezondheidszorg kan de blootstelling aan dergelijke fouten het naleven van normen zoals DORA, NIS2 of AVG in gevaar brengen.
AI-SEO: Aanvallers Optimaliseren voor Generatieve Modellen
Het fenomeen beperkt zich niet tot inloggen. Netcraft heeft meer dan 17.000 kwaadaardige pagina’s geïdentificeerd die met AI zijn gegenereerd en zijn ontworpen om het model te misleiden. Deze pagina’s worden gepresenteerd als technische documentatie, FAQ’s of producthandleidingen en richten zich op gebruikers van cryptocurrency, reizigers en technologiekopers.
In een andere campagne creëerde een kwaadwillende actor een valse API voor Solana, compleet met tutorials en valse profielen op technische forums. Het doel: de AI-programmeerassistenten misleiden, zodat zij automatisch de vervalste API voorstellen en fondsen naar de aanvaller’s portefeuilles leiden.
Domijnen Registreren is Niet Genoeg
Hoewel sommige organisaties ervoor kiezen om veelvoorkomende varianten van hun domeinen als preventieve maatregel te registreren, beschouwt Netcraft deze tactiek als onvoldoende en niet duurzaam.
“De LLM’s blijven nieuwe domeinen ‘hallucinerend.’ Het gaat niet om het registreren van duizenden combinaties, maar om het implementeren van actieve monitoring, detectie van opkomende dreigingen en snelle responscapaciteiten,” aldus het rapport.
Aanbevelingen voor CISO’s en CTO’s
In dit scenario bevelen experts aan dat technische teams en cybeveiligers een proactieve strategie aannemen:
- Slimme monitoring van merkvermeldingen in door AI gegenereerde resultaten, vooral in conversatie-interfaces.
- Regelmatige auditing van domeinen die lijken op het officiële domein.
- Samenwerking met leveranciers van detectie en verwijdering van kwaadaardige content die inzichtelijkheid hebben in AI-omgevingen.
- Ontwikkeling van interne richtlijnen voor veilige AI, inclusief richtlijnen voor ontwikkelaars.
- Herziening van verificatiemogelijkheden in interne LLM’s die worden gebruikt in chatbots en klantenservice.
Conclusie: Een Nieuwe Laag van Blootstelling in de Digitale Stack
De revolutionaire vooruitgang in taalmodellen heeft efficiënte gebruikerservaringen en automatisering mogelijk gemaakt. Echter, er is ook een onzichtbare en slecht gecontroleerde laag ontstaan waar fictie zich als feit voordoet. Dit gebeurt met een autoriteit die gebruikers niet langer in twijfel trekken.
Voor CIO’s, CTO’s en CISOs kan het beheer van deze risico’s niet worden gedelegeerd. Het is van cruciaal belang om de plaats van LLM’s in de technologische stack te heroverwegen en hen uit te rusten met verificatieve, traceerbare en contextuele mechanismen. Zonder deze mechanismen is AI geen bondgenoot, maar een blinde vlek.
“In een wereld waar uw klant meer vertrouwt op een AI dan op uw officiële kanaal, is het niet voldoende om alleen de rand te beschermen. U moet ook de narratief die AI over uw merk opbouwt beschermen.”
Bron: Nieuws over beveiliging