Bedrijven hebben weliswaar cyberbeveiligingsteams, maar velen zijn nog steeds niet voorbereid op de manier waarop AI-systemen daadwerkelijk falen, zegt een AI-beveiligingsonderzoeker.
Sander Schulhoff, die een van de eerste technische handleidingen schreef en zich richt op de kwetsbaarheden van AI-systemen, zei in een zondag gepubliceerde aflevering van “Lenny’s Podcast” dat veel organisaties niet over het talent beschikken dat nodig is om AI-beveiligingsrisico’s te begrijpen en op te lossen.
Traditionele cyberbeveiligingsteams zijn getraind om bugs te patchen en bekende kwetsbaarheden aan te pakken, maar AI gedraagt zich niet op die manier.
“Je kunt een bug patchen, maar je kunt geen hersenen patchen”, zei Schulhoff, en beschreef wat hij ziet als een mismatch tussen hoe beveiligingsteams denken en hoe grote taalmodellen falen.
“Er bestaat een kloof over de manier waarop AI werkt vergeleken met klassieke cyberbeveiliging”, voegde hij eraan toe.
Die kloof komt naar voren in implementaties in de echte wereld. Cybersecurityprofessionals kunnen een AI-systeem beoordelen op technische gebreken zonder zich af te vragen: “Wat als iemand de AI misleidt om iets te doen wat niet mag?” zei Schulhoff, die een snel engineeringplatform en een AI-red-teaming-hackathon beheert.
In tegenstelling tot traditionele software, AI-systemen kunnen worden gemanipuleerd door middel van taal en indirecte instructies, voegde hij eraan toe.
Schulhoff zei dat mensen met ervaring in zowel AI-beveiliging als cyberbeveiliging zouden weten wat ze moeten doen als een AI-model wordt misleid om kwaadaardige code te genereren. Ze zouden de code bijvoorbeeld in een container uitvoeren en ervoor zorgen dat de uitvoer van de AI de rest van het systeem niet beïnvloedt.
Op het kruispunt van AI-beveiliging en traditionele cyberbeveiliging liggen “de beveiligingsbanen van de toekomst”, voegde hij eraan toe.
De opkomst van AI-beveiligingsstartups
Schulhoff zei ook dat veel AI-beveiligingsstartups vangrails opzetten die geen echte bescherming bieden. Omdat AI-systemen op talloze manieren kunnen worden gemanipuleerd, zijn de beweringen dat deze tools “alles kunnen opvangen” misleidend.
“Dat is een complete leugen”, zei hij, eraan toevoegend dat er een marktcorrectie zou plaatsvinden waarin “de inkomsten voor deze vangrails en geautomatiseerde red-teaming-bedrijven volledig opdrogen.”
AI-beveiligingsstartups hebben meegelift op de golf van interesse van beleggers. Big Tech- en durfkapitaalbedrijven hebben geld in de ruimte gestort terwijl bedrijven zich haasten om AI-systemen te beveiligen.
In maart kocht Google cyberbeveiligingsstartup Wiz voor $32 miljard, een deal gericht op het versterken van zijn cloudbeveiligingsactiviteiten.
Google-CEO Sundar Pichai zei dat AI “nieuwe risico’s” introduceert in een tijd waarin multi-cloud en hybride opstellingen steeds gebruikelijker worden.
“Tegen deze achtergrond zijn organisaties op zoek naar cyberbeveiligingsoplossingen die de cloudbeveiliging verbeteren en meerdere clouds omvatten”, voegde hij eraan toe.
Business Insider meldde vorig jaar dat de groeiende bezorgdheid over de veiligheid rond AI-modellen heeft geholpen zorgt voor een golf van startups pitchingtools om AI-systemen te monitoren, testen en beveiligen.
