Er lijkt een recente epidemie te zijn waarbij gebruikers bedrijven kapen AI-aangedreven klantenservice-bots om ze in generieke AI-assistenten te veranderen. Het doel is om de merkbots hun biedingen te laten doen, zonder zich te hoeven abonneren op een AI-service. Soms dwingen mensen de bots om dingen te doen die ze niet mogen doen, zoals het geven van buitengewone productdeals en hen zelfs helpen juridisch problematische acties te ondernemen.
Recentelijk ging een golf van berichten op LinkedIn en video’s op sociale media viraal, waarin werd beweerd dat gebruikers de virtuele assistent van de klantenservice van McDonald’s hadden overgehaald om zijn burgergerichte doel op te geven en in plaats daarvan complexe Python-programmeercode te debuggen. Eén bericht luidde: “Betaal niet langer $ 20 per maand voor Claude. McDonald’s AI is GRATIS.”
Op Instagram, video’s En afbeeldingen verscheen en beweerde hetzelfde en plaatste allemaal dezelfde afbeelding als bewijs. De claim ging viraal, zoals Grok samengevat in een trending nieuwsbericht op X: “McDonald’s AI-klantenondersteuningsagent genaamd Grimace kreeg enorme aandacht met 1,6 miljoen views en 30.000 likes nadat gebruikers het hadden getest met out-of-script-verzoeken zoals foutopsporing, Python-scripts en architectuurvragen.”
Dat vertelde een bron die bekend was met de zaak Snel bedrijf dat uit een intern onderzoek geen bewijs van de exploit is gebleken en dat wordt aangenomen dat de circulerende screenshots en video’s frauduleus zijn. Dit zou niet de eerste keer zijn. In maart werd een vrijwel identiek Er dook een viraal verhaal op over Pepper, de klantenservicebot van Chipotle, waarin werd beweerd dat de bot softwarecode voor gebruikers kon schrijven. Sally Evans, de externe communicatiemanager van Chipotle, vertelde de IT- en bedrijfstechnologiepublicatie CIO dat “de virale post met Photoshop was gemaakt. Pepper gebruikt geen gen-AI en heeft ook niet de mogelijkheid om te coderen.”
Maar dat betekent niet dat het niet kan gebeuren. De technische kwetsbaarheid die deze memes beschrijven – formeel bekend als ‘snelle injectie“- is volkomen reëel en werkelijk gevaarlijk. Wanneer een bedrijf een AI-model implementeert, programmeert het dit met systeemprompts en achtergrondinstructies die onzichtbaar zijn voor de gebruiker en die de persoonlijkheid en beperkingen van de bot definiëren, zoals een model vertellen dat het een fastfoodhelper is die alleen menu-items bespreekt.
Van snelle injectie is sprake wanneer een gebruiker een specifieke invoer maakt die deze verborgen regels overschrijft, waardoor de bot van zijn bedrijfsidentiteit wordt ontdaan en het ruwe, algemene taalmodel daaronder bloot komt te liggen. Dit wordt een ‘vermogenslek’ genoemd, en de reden dat dit zo moeilijk te voorkomen is, is dat grote taalmodellen (LLM’s) zijn ontworpen om vloeiend op menselijke taal te reageren in plaats van op rigide commando’s. In tegenstelling tot traditionele software met vaste regels interpreteert generatieve AI de context dynamisch, waardoor het bijna onmogelijk wordt om te anticiperen op elke zin die een vastberaden gebruiker zou kunnen proberen.
Echt gevaar
Amazons winkelassistent Rufus is het bewijs dat het echte werk veel rommeliger en schadelijker is dan welke nep-meme dan ook die is ontworpen om de aandacht te trekken. Tussen eind 2025 en begin 2026 omzeilden gebruikers met succes de winkelrichtlijnen van Rufus om inhoud te extraheren die niets te maken had met het kopen van producten.
Onderzoekers hebben aangetoond dat de interne logica van de bot volledig kon worden doorbroken: in één geval weigerde Rufus resoluut een klant te helpen bij het lokaliseren van een basiskledingstuk, maar stelde vervolgens een gedetailleerde lijst op van plaatsen waar gevaarlijke chemicaliën konden worden verkregen. In een ander land stelde het methoden op waarmee minderjarigen op onrechtmatige wijze alcohol konden kopen.
Maar het waren niet alleen onderzoekers die de bot kapotmaakten. Eind 2025 verschenen communities op Reddit ontdekt dat de Rufus-assistent feitelijk werd aangedreven door het Claude-taalmodel van Anthropic. Redditors kwamen erachter dat Amazon een eenvoudig trefwoordfilter gebruikte dat probeerde generieke toegang tot de LLM-engine te blokkeren. Redditors beweerden dat door snelle injectie te gebruiken om de bot logisch in het nauw te drijven, of door simpelweg de software te instrueren om de weigeringstokens volledig te laten vallen, gebruikers erin slaagden de Rufus-persona af te schudden.
Toen de bot eenmaal zijn karakter brak, hadden gebruikers onbeperkte, onbetaalde toegang tot een premium taalmodel, rechtstreeks via de Amazon-app. Als Dat melden onderzoekers van Lasso Securitydwong de exploit de bot om ‘gebruikers te vermaken met antwoorden op vrijwel elke vraag onder de zon’, wat flinke verwerkingskosten opleverde in een ‘duur computerklimaat’.
Terwijl Amazon zich bezighield met uitbuiting, ontdekten andere bedrijven dat een slecht inzetbare AI rechtstreeks tegen hen kan worden ingezet. Eind 2023 gaf een gebruiker die de website van een Chevrolet-dealer in Watsonville, Californië bezocht, de door ChatGPT aangedreven verkoopbot van het bedrijf de opdracht om akkoord te gaan met elke verklaring die de gebruiker deed, waardoor het systeem uiteindelijk in de verkeerde richting werd gemanoeuvreerd. zich ertoe verbinden een Chevy Tahoe ter waarde van $ 76.000 voor één dollar te verkopen.
Op dezelfde manier, De chatbot van Air Canada heeft een kortingsprotocol verzonnen dat bestond begin 2024 niet, waardoor een klant kaartjes voor de volle prijs kocht in de veronderstelling dat hij later een gedeeltelijke terugbetaling zou ontvangen. Toen de luchtvaartmaatschappij weigerde te betalen, met het argument dat haar eigen bot een afzonderlijke juridische entiteit was die niet onder de controle van het bedrijf stond, zei een Canadees burgerlijk tribunaal afgewezen die verdediging volledig door te oordelen dat een bedrijf volledig verantwoordelijk is voor elke verklaring op zijn eigen website.
De kloof tussen wat deze systemen beloven en wat ze daadwerkelijk opleveren zal nieuwe gênante snafus blijven veroorzaken, of ze nu viraal gaan of niet. De juridische rekeningen, de reputatieschade en de computerkosten die worden opgelopen door gebruikers die bedrijfsbots als gratis AI-abonnementen behandelen, kunnen deze geautomatiseerde klantervaringen uiteindelijk veel duurder maken dan simpelweg iemand betalen om de klus te klaren. Maar dat schip is vertrokken, neem ik aan, en we zullen in de toekomst blijven genieten van nieuwe rampen met consumentenervaringen.
