João Freitas is GM en VP engineering voor AI en automatisering bij PagerDuty
Terwijl het gebruik van AI in grote organisaties blijft evolueren, zijn leiders steeds meer op zoek naar de volgende ontwikkeling die een grote ROI zal opleveren. De nieuwste golf van deze aanhoudende trend is de adoptie van AI-agenten. Maar net als bij elke nieuwe technologie moeten organisaties ervoor zorgen dat ze AI-agenten op een verantwoorde manier adopteren, zodat ze zowel snelheid als veiligheid kunnen faciliteren.
Meer dan de helft van de organisaties heeft tot op zekere hoogte al AI-agenten ingezet, en verwacht dat er de komende twee jaar nog meer zullen volgen. Maar veel early adopters heroverwegen nu hun aanpak. Vier op de tien technologieleiders hebben er spijt van dat ze geen sterkere bestuursbasis vanaf het begin, wat erop wijst dat ze AI snel hebben ingevoerd, maar met een marge om het beleid, de regels en de beste praktijken te verbeteren die zijn ontworpen om de verantwoorde, ethische en juridische ontwikkeling en het gebruik van AI te garanderen.
Naarmate de adoptie van AI versneltmoeten organisaties de juiste balans vinden tussen hun blootstellingsrisico en de implementatie van vangrails om ervoor te zorgen dat het gebruik van AI veilig is.
Waar creëren AI-agenten potentiële risico’s?
Er zijn drie belangrijke aandachtsgebieden voor een veiligere adoptie van AI.
De eerste is schaduw AIwanneer werknemers ongeautoriseerde AI-tools gebruiken zonder uitdrukkelijke toestemming, waarbij goedgekeurde tools en processen worden omzeild. IT moet de noodzakelijke processen voor experimenten en innovatie creëren om efficiëntere manieren te introduceren om met AI te werken. Hoewel schaduw-AI net zo lang bestaat als AI-tools zelf, maakt de autonomie van AI-agenten het gemakkelijker voor niet-goedgekeurde tools om buiten het bereik van IT te opereren, wat nieuwe veiligheidsrisico’s met zich mee kan brengen.
Ten tweede moeten organisaties de gaten in het eigendom en de aansprakelijkheid van AI dichten om zich voor te bereiden op incidenten of misgelopen processen. De kracht van AI-agenten ligt in hun autonomie. Als agenten echter op onverwachte manieren handelen, moeten teams kunnen bepalen wie verantwoordelijk is voor het aanpakken van eventuele problemen.
Het derde risico doet zich voor wanneer er sprake is van een gebrek aan uitlegbaarheid van de acties die AI-agenten hebben ondernomen. AI-agenten zijn doelgerichtmaar hoe ze hun doelen bereiken, kan onduidelijk zijn. AI-agenten moeten een verklaarbare logica hebben die ten grondslag ligt aan hun acties, zodat ingenieurs acties kunnen traceren en, indien nodig, terugdraaien die problemen met bestaande systemen kunnen veroorzaken.
Hoewel geen van deze risico’s de adoptie mag vertragen, zullen ze organisaties helpen hun veiligheid beter te waarborgen.
De drie richtlijnen voor een verantwoorde adoptie van AI-agenten
Zodra organisaties de risico’s hebben geïdentificeerd die AI-agenten kunnen opleveren, moeten ze richtlijnen en vangrails implementeren om veilig gebruik te garanderen. Door deze drie stappen te volgen, kunnen organisaties deze risico’s minimaliseren.
1: Maak van menselijk toezicht de standaard
AI-bureau blijft zich in een snel tempo ontwikkelen. We hebben echter nog steeds menselijk toezicht nodig wanneer AI-agenten de capaciteit krijgen om te handelen, beslissingen te nemen en een doel na te streven dat van invloed kan zijn op belangrijke systemen. Er moet standaard een mens op de hoogte zijn, vooral bij bedrijfskritische gebruiksscenario’s en systemen. De teams die AI gebruiken, moeten begrijpen welke acties zij kunnen ondernemen en waar ze mogelijk moeten ingrijpen. Begin conservatief en verhoog na verloop van tijd de mate van keuzevrijheid die aan AI-agenten wordt gegeven.
Samen moeten operationele teams, ingenieurs en beveiligingsprofessionals begrijpen welke rol zij spelen bij het toezicht houden op de workflows van AI-agenten. Aan elke agent moet een specifieke menselijke eigenaar worden toegewezen voor duidelijk omschreven toezicht en verantwoordelijkheid. Organisaties moeten ook toestaan dat ieder mens het gedrag van een AI-agent markeert of opheft wanneer een actie een negatief resultaat heeft.
Bij het overwegen van taken voor AI-agenten moeten organisaties begrijpen dat, hoewel traditionele automatisering goed is in het afhandelen van repetitieve, op regels gebaseerde processen met gestructureerde gegevensinvoer, AI-agenten veel complexere taken kunnen afhandelen en zich op een meer autonome manier kunnen aanpassen aan nieuwe informatie. Dit maakt ze een aantrekkelijke oplossing voor allerlei taken. Maar naarmate AI-agenten worden ingezet, moeten organisaties bepalen welke acties de agenten kunnen ondernemen, vooral in de vroege stadia van een project. Teams die met AI-agenten werken, moeten dus over goedkeuringspaden beschikken voor acties met een hoge impact om ervoor te zorgen dat de reikwijdte van agenten niet verder reikt dan de verwachte gebruiksscenario’s, waardoor de risico’s voor het bredere systeem worden geminimaliseerd.
2: Veilig bakken
De introductie van nieuwe tools mag een systeem niet blootstellen aan nieuwe veiligheidsrisico’s.
Organisaties moeten agentische platforms overwegen die voldoen aan hoge beveiligingsnormen en gevalideerd zijn door certificeringen op bedrijfsniveau zoals SOC2, FedRAMP of gelijkwaardig. Verder mogen AI-agenten geen vrije loop krijgen binnen de systemen van een organisatie. De machtigingen en het beveiligingsbereik van een AI-agent moeten op zijn minst worden afgestemd op het bereik van de eigenaar, en eventuele tools die aan de agent worden toegevoegd, mogen geen uitgebreide machtigingen toestaan. Het beperken van de toegang van AI-agenten tot een systeem op basis van hun rol zorgt er ook voor dat de implementatie soepel verloopt. Het bijhouden van volledige logboeken van elke actie die door een AI-agent wordt ondernomen, kan ingenieurs ook helpen begrijpen wat er is gebeurd in het geval van een incident en het probleem kunnen traceren.
3: Maak resultaten verklaarbaar
Het gebruik van AI in een organisatie mag nooit een black box zijn. De redenering achter elke actie moet worden geïllustreerd, zodat elke ingenieur die er toegang toe probeert te krijgen, de context kan begrijpen die de agent heeft gebruikt voor de besluitvorming en toegang kan krijgen tot de sporen die tot die acties hebben geleid.
INputs en outputs voor elke actie moeten worden geregistreerd en toegankelijk zijn. Dit zal organisaties helpen een duidelijk overzicht te krijgen van de logica die ten grondslag ligt aan de acties van een AI-agent, wat aanzienlijke waarde kan opleveren als er iets misgaat.
Beveiliging onderstreept het succes van AI-agenten
AI-agents bieden organisaties enorme kansen om hun bestaande processen te versnellen en te verbeteren. Als ze echter geen prioriteit geven aan veiligheid en sterk bestuur, kunnen ze zichzelf blootstellen aan nieuwe risico’s.
Nu AI-agenten steeds gebruikelijker worden, moeten organisaties ervoor zorgen dat ze over systemen beschikken om te meten hoe ze presteren en over de mogelijkheid om actie te ondernemen als ze problemen veroorzaken.
Lees meer van onze gastschrijvers. Of overweeg om zelf een bericht te plaatsen! Zie onze richtlijnen hier.
Welkom bij de VentureBeat-community!
In ons gastpostprogramma delen technische experts inzichten en bieden ze neutrale, niet-gevestigde diepgaande inzichten over AI, data-infrastructuur, cyberbeveiliging en andere geavanceerde technologieën die de toekomst van het bedrijfsleven vormgeven.
Lees meer uit ons gastpostprogramma — en bekijk ons richtlijnen als u geïnteresseerd bent om een eigen artikel bij te dragen!
