Welkom in het tijdperk van AI-hacking, waarin de juiste aanwijzingen van amateurs meesterhackers maken.
Een groep cybercriminelen heeft onlangs kant-en-klare kunstmatige intelligentie-chatbots gebruikt om gegevens van bijna 200 miljoen belastingbetalers te stelen. De bots leverden de code en kant-en-klare plannen om firewalls te omzeilen.
Hoewel ze expliciet geprogrammeerd waren om te weigeren hackers te helpen, werden de bots misleid om de cybercriminaliteit te bevorderen.
Volgens een recent rapport van het Israëlische cyberbeveiligingsbedrijf Gambit Security hebben hackers vorige maand Claude, de chatbot van Anthropic, gebruikt om 150 gigabyte aan gegevens van Mexicaanse overheidsinstanties te stelen.
Claude weigerde aanvankelijk mee te werken aan de hackpogingen en weigerde zelfs verzoeken om de digitale sporen van de hackers uit te wissen, aldus de experts die de inbreuk ontdekten. De groep bestookte de bot met meer dan 1.000 aanwijzingen om de beveiliging te omzeilen en Claude ervan te overtuigen dat ze het systeem mochten testen op kwetsbaarheden.
AI-bedrijven hebben geprobeerd onbreekbare ketens in hun AI-modellen te creëren om hen ervan te weerhouden dingen te doen zoals het genereren van kinderseksuele inhoud of het helpen bij het verkrijgen en maken van wapens. Ze huren hele teams in om te proberen hun eigen chatbots kapot te maken voordat iemand anders dat doet.
Maar in dit geval hebben hackers Claude voortdurend op creatieve manieren aangezet en waren ze in staat de chatbot te ‘jailbreaken’ om hen te helpen. Toen ze problemen met Claude tegenkwamen, gebruikten de hackers ChatGPT van OpenAI voor data-analyse en om te achterhalen welke inloggegevens nodig waren om onopgemerkt door het systeem te kunnen bewegen.
De groep gebruikte AI om kwetsbaarheden te vinden en te exploiteren, verdedigingsmechanismen te omzeilen, achterdeurtjes te creëren en onderweg gegevens te analyseren om controle over de systemen te krijgen voordat ze 195 miljoen identiteiten stalen uit negen Mexicaanse overheidssystemen, waaronder belastinggegevens, voertuigregistratie en geboorte- en eigendomsgegevens.
AI “slaapt niet”, zegt Curtis Simpson, CEO van Gambit Security, in een blogpost. “Het verlaagt de kosten van verfijning tot bijna nul.”
“Geen enkele investering in preventie zou deze aanval onmogelijk hebben gemaakt”, zei hij.
Anthropic heeft niet gereageerd op een verzoek om commentaar. Het vertelde Bloomberg dat het de betrokken accounts had verboden en hun activiteiten na een onderzoek had verstoord.
OpenAI zei op de hoogte te zijn van de aanvalscampagne die met behulp van de modellen van Anthropic tegen de Mexicaanse overheidsinstanties is uitgevoerd.
“We hebben ook andere pogingen van de tegenstander geïdentificeerd om onze modellen te gebruiken voor activiteiten die ons gebruiksbeleid schenden; onze modellen weigerden aan deze pogingen te voldoen”, zei een woordvoerder van OpenAI in een verklaring. “We hebben de accounts die door deze tegenstander worden gebruikt verboden en waarderen het bereik van Gambit Security.”
Het aantal gevallen van generatief AI-ondersteund hacken neemt toe en de dreiging van cyberaanvallen door op zichzelf handelende bots is niet langer sciencefiction. Als AI zijn werk doet, kunnen beginners binnen enkele ogenblikken schade aanrichten, terwijl ervaren hackers met veel minder moeite veel geavanceerdere aanvallen kunnen lanceren.
Eerder dit jaar ontdekte Amazon dat een laagopgeleide hacker commercieel verkrijgbare AI gebruikte om 600 firewalls te doorbreken. Een ander nam de controle over duizenden DJI-robotstofzuigers met hulp van Claude, en kreeg toegang tot live videofeed, audio en plattegronden van vreemden.
“Het soort dingen dat we vandaag zien is slechts de eerste tekenen van het soort dingen dat AI over een paar jaar zal kunnen doen”, zegt Nikola Jurkovic, een expert die zich bezighoudt met het verminderen van de risico’s van geavanceerde AI. “We moeten ons dus dringend voorbereiden.”
Eind vorig jaar waarschuwde Anthropic dat de samenleving een “buigpunt‘in AI-gebruik in cyberbeveiliging na het verstoren van wat volgens het bedrijf een door de Chinese staat gesponsorde spionagecampagne was, waarbij Claude werd gebruikt om dertig mondiale doelwitten te infiltreren, waaronder financiële instellingen en overheidsinstanties.
Generatieve AI is dat ook geweest gebruikt om bedrijven af te persen, realistische onlineprofielen te creëren door Noord-Koreaanse agenten om banen veilig te stellen bij Amerikaanse Fortune 500-bedrijven, romantische oplichting uit te voeren en een netwerk van Russische propaganda-accounts te exploiteren.
De afgelopen jaren zijn AI-modellen geëvolueerd van het kunnen beheren van taken die slechts een paar seconden duren, naar de huidige AI-agenten die urenlang autonoom werken. Het vermogen van AI om lange taken uit te voeren is dat wel elke zeven maanden verdubbelt.
“We weten eigenlijk niet wat de bovengrens is van de mogelijkheden van AI, omdat niemand benchmarks heeft gemaakt die zo moeilijk zijn dat de AI ze niet kan doen”, zegt Jurkovic, die werkt bij METEReen non-profitorganisatie die de mogelijkheden van AI-systemen meet om catastrofale schade aan de samenleving te veroorzaken.
Tot nu toe is social engineering het meest voorkomende gebruik van AI voor hacking. Er worden grote taalmodellen gebruikt om overtuigende e-mails te schrijven om mensen hun geld af te troggelen achtvoudig stijging van het aantal klachten van oudere Amerikanen, omdat zij in 2025 4,9 miljard dollar verloren aan onlinefraude.
“De berichten die worden gebruikt om een klik van het doel uit te lokken, kunnen nu efficiënter per gebruiker worden gegenereerd en met minder tekenen van phishing”, zoals grammaticale en spelfouten, zegt Cliff Neuman, universitair hoofddocent informatica bij USC.
AI-bedrijven reageren met behulp van AI om aanvallen te detecteren, auditcode en patch-kwetsbaarheden.
“Uiteindelijk komt de grote onevenwichtigheid voort uit de behoefte van de goede acteurs om altijd zekerheid te hebben, en van de slechte acteurs om maar één keer gelijk te hebben”, aldus Neuman.
De inzet rond AI wordt steeds groter naarmate het in elk aspect van de economie infiltreert. Velen zijn bezorgd dat er onvoldoende inzicht is in de manier waarop ervoor kan worden gezorgd dat het niet kan worden misbruikt door slechte actoren of ertoe kan worden aangezet een schurkenstaat te worden.
Zelfs degenen aan de top van de industrie hebben gebruikers gewaarschuwd voor het mogelijke misbruik van AI.
Dario Amodei, de CEO van Anthropic, pleit er al lang voor dat de AI-systemen die worden gebouwd onvoorspelbaar en moeilijk te controleren zijn. Deze AI’s hebben gedrag vertoond dat zo gevarieerd is als teleurstelling En chantagenaar plannen maken En bedriegen door software te hacken.
Toch tekenden grote AI-bedrijven – OpenAI, Anthropic, xAI en Google – contracten met de Amerikaanse overheid om hun AI’s te gebruiken bij militaire operaties.
Afgelopen week heeft het Pentagon federale agentschappen opdracht gegeven Claude uitfaseren nadat het bedrijf weigerde in te gaan op zijn eis dat het niet zou toestaan dat zijn AI zou worden gebruikt voor massale binnenlandse surveillance en volledig autonome wapens.
“De AI-systemen van vandaag zijn bij lange na niet betrouwbaar genoeg om volledig autonome wapens te maken,” vertelde Amodei CBS-nieuws.
