Antropisch zegt dat Chinese natiestaathackers het AI-model Claude hebben gekaapt om een cyberaanval uit te voeren zonder ‘substantiële’ menselijke tussenkomst.
In een blogpost van donderdag zei de startup dat Claude ongeveer “80-90%” van de cyberaanval tegen ongeveer 30 mondiale doelwitten afhandelde en dat het “groot vertrouwen” had dat een door de Chinese staat gesponsorde groep erachter zat.
Doelwitten waren onder meer grote technologiebedrijven, financiële instellingen, chemische productiebedrijven en overheidsinstanties, aldus Anthropic. De pogingen om deze bedrijven en instanties te infiltreren waren in een “klein aantal gevallen” succesvol, voegde het bedrijf eraan toe.
AI-agenten Programma’s die taken autonoom kunnen uitvoeren, worden steeds meer door bedrijven omarmd om repetitief werk af te handelen, zoals kaartjes voor klantenondersteuning. Ze kunnen de productiviteit van bedienden verbeteren, maar ze kunnen ook worden gecoöpteerd voor onwettige taken. In augustus zei Anthropic dat het cybercriminelen had opgespoord en gedwarsboomd die Claude gebruikten hackoperaties uitvoeren met kleinere ploegen.
Hoewel AI al jaren tot op zekere hoogte wordt gebruikt bij hackinspanningen, zegt Anthropic dat het gelooft dat deze nieuwe operatie het eerste gedocumenteerde geval is van een ‘grootschalige’ cyberaanval die voornamelijk door AI wordt uitgevoerd.
De Door Amazon gesteunde startup zei dat Claude veiligheidsmaatregelen heeft genomen om misbruik ervan te voorkomen. De hackers hebben Claude echter met succes gejailbreakt door zijn verzoeken op te splitsen in kleinere stukjes die geen alarm veroorzaakten, zei Anthropic. Het voegde eraan toe dat de hackers deden alsof ze defensieve tests uitvoerden voor een legitiem cyberbeveiligingsbedrijf.
De aanvallers gebruikten vervolgens Claude Code om verkenningen uit te voeren op de digitale infrastructuur van de doelbedrijven en code te schrijven om hun verdediging te doorbreken en gegevens zoals gebruikersnamen en wachtwoorden te extraheren.
Anthropic zei dat het zijn bevindingen publiekelijk deelde om de cyberbeveiligingsindustrie te helpen de verdediging tegen AI-gestuurde hackinspanningen te verbeteren.
“De enorme hoeveelheid werk die door de AI wordt verricht, zou voor een menselijk team enorme hoeveelheden tijd hebben gekost”, zei Anthropic in de krant. blogpost. “De AI deed duizenden verzoeken per seconde – een aanvalssnelheid die voor menselijke hackers eenvoudigweg onmogelijk te evenaren zou zijn geweest.”
OpenAI en Microsoft hebben ook rapporten gedeeld over natiestaten die AI gebruiken tijdens cyberaanvallen – maar in die gevallen werd de technologie vooral gebruikt om inhoud te genereren en code te debuggen, in plaats van taken autonoom uit te voeren.
Jake Moore, mondiaal cybersecurityadviseur van internetbeveiligingsbedrijf ESET, vertelde Business Insider dat het incident geen verrassing is.
“Geautomatiseerde cyberaanvallen kunnen veel sneller opschalen dan door mensen geleide operaties en zijn in staat de traditionele verdediging te overweldigen”, zei hij. “Dit is niet alleen waar velen bang voor zijn, maar de bredere impact is nu dat deze aanvallen zeer laagopgeleide actoren in staat stellen om tegen relatief lage kosten complexe inbraken te lanceren.”
Hoewel AI het voor cybercriminelen en natiestaten gemakkelijker maakt om aanvallen uit te voeren, wordt het ook gezien als onderdeel van de defensieve oplossing.
“AI wordt zowel defensief als offensief gebruikt, dus de veiligheid hangt nu evengoed af van automatisering en snelheid in plaats van alleen van menselijke expertise binnen organisaties”, aldus Moore.
