In een nieuw rapportAI-bedrijf Anthropic heeft een “zeer geavanceerde spionagecampagne” beschreven die zijn inzet kunstmatige intelligentie tools om geautomatiseerde cyberaanvallen over de hele wereld te lanceren.
De aanvallers mikten hoog en richtten zich op overheidsinstanties, Big Tech-bedrijven, banken en chemische bedrijven, en slaagden er in “een klein aantal gevallen” in, aldus Anthropic. Het bedrijf zegt dat zijn onderzoek de hackoperatie in verband brengt met de Chinese overheid.
Het bedrijf beweert dat de bevindingen een keerpunt vormen voor de industrie en het eerste voorbeeld vormen van een cyberspionageplan uitgevoerd door AI. “Wij geloven dat dit het eerste gedocumenteerde geval is van een grootschalige cyberaanval die wordt uitgevoerd zonder substantiële menselijke tussenkomst”, schreef Anthropic in een blogpost. Snel bedrijf heeft contact opgenomen met de Chinese ambassade in DC voor commentaar op het rapport.
Anthropic zegt dat het medio september voor het eerst het verdachte gebruik van zijn producten heeft ontdekt en een onderzoek heeft uitgevoerd om de omvang van de operatie bloot te leggen. De aanvallen waren niet volledig autonoom – er waren mensen bij betrokken om ze in beweging te zetten – maar ze manipuleerden Anthropic’s Claude Code-tooleen versie van de AI-assistent ontworpen voor ontwikkelaars, om complexe delen van de campagne uit te voeren.
Claude misleiden tot het plegen van een misdaad
Om de ingebouwde veiligheidsbeugels van Claude te omzeilen, probeerden de hackers het AI-model te ‘jailbreaken’, waarbij ze het in feite kleinere, goedaardig ogende taken lieten uitvoeren zonder de bredere context van hun toepassing. De aanvallers vertelden de AI-tool ook dat ze in een defensieve hoedanigheid werkten voor een legitiem cyberbedrijf om het model ervan te overtuigen zijn verdediging in de steek te laten.
Nadat ze Claude naar hun hand hadden gezet, lieten de aanvallers de AI-assistent aan het werk met het analyseren van de doelen, het identificeren van hoogwaardige databases en het schrijven van code om de zwakke punten die hij in de systemen en infrastructuur van hun doelen had gevonden, te misbruiken.
“Het raamwerk was in staat om Claude te gebruiken om inloggegevens (gebruikersnamen en wachtwoorden) te verzamelen waardoor het verdere toegang kreeg, en vervolgens een grote hoeveelheid privégegevens te extraheren, die het categoriseerde op basis van de intelligentiewaarde ervan”, schreef Anthropic. “De accounts met de hoogste privileges werden geïdentificeerd, er werden achterdeurtjes gecreëerd en gegevens werden geëxfiltreerd met minimaal menselijk toezicht.”
In de laatste fase gaven de aanvallers Claude opdracht om hun acties te documenteren, waarbij ze bestanden produceerden, inclusief gestolen inloggegevens en de systemen die werden geanalyseerd, waarop ze bij toekomstige aanvallen konden voortbouwen. Het bedrijf schat dat minstens 80% van de operatie autonoom werd uitgevoerd, zonder dat een mens daar leiding aan gaf.
Anthropic merkte in zijn rapport op dat de AI, net zoals bij minder kwaadaardige taken, fouten genereerde tijdens de cyberaanval, valse beweringen deed over het verzamelen van geheime informatie en zelfs enkele van de logins die het produceerde hallucineerde. Zelfs met enkele fouten, een agentische AI dat klopt, kan zichzelf meestal op veel doelen richten, snel exploits creëren en uitvoeren, en daarbij veel schade aanrichten.
AI in de aanval
Het nieuwe rapport van Anthropic is niet de eerste keer dat een AI-bedrijf dit doet ontdekte dat zijn instrumenten werden misbruikt in uitgebreide hackprogramma’s. Het is niet eens een primeur voor Anthropic.
In augustus maakte het bedrijf een handvol cybercriminaliteitsplannen bekend met behulp van de Claude AI-tools, waaronder nieuwe ontwikkelingen in een langlopende werkgelegenheidszwendel om Noord-Koreaanse agenten ingehuurd op externe posities bij Amerikaanse technologiebedrijven.
Bij een ander recent cybercriminaliteitsincident wendde een nu verboden gebruiker zich tot de Claude-assistent van Anthropic om ransomwarepakketten online te maken en te verkopen aan andere cybercriminelen voor maximaal $ 1.200 per stuk.
“De groei van door AI ondersteunde fraude en cybercriminaliteit baart ons bijzonder zorgen, en we zijn van plan prioriteit te geven aan verder onderzoek op dit gebied”, aldus Anthropic in de krant. rapport.
De nieuwe aanval is opmerkelijk vanwege de banden met China en vanwege het gebruik van ‘agentische’ AI – kunstmatige intelligentie die zelfstandig complexe taken kan uitvoeren zodra deze in gang is gezet. Het vermogen om van begin tot eind te werken met minder toezicht betekent dat deze tools meer op mensen lijken: ze streven een doel na en voltooien kleinere stappen om daar in het proces te komen. De aantrekkingskracht van een autonoom systeem dat gedetailleerde analyses kan uitvoeren en zelfs code op grote schaal kan schrijven, heeft een duidelijke aantrekkingskracht in de wereld van cybercriminaliteit.
“Er heeft zich een fundamentele verandering voorgedaan in de cyberbeveiliging”, schreef Anthropic in zijn rapport. “De hierboven beschreven technieken zullen ongetwijfeld door veel meer aanvallers worden gebruikt – wat het delen van bedreigingen door de industrie, verbeterde detectiemethoden en strengere veiligheidscontroles des te belangrijker maakt.”
