Kunstmatige intelligentie wordt steeds vaker gebruikt om de besluitvorming in situaties met hoge inzet te helpen optimaliseren. Een autonoom systeem kan bijvoorbeeld een energiedistributiestrategie identificeren die de kosten minimaliseert en de spanning stabiel houdt.
Maar hoewel deze AI-gestuurde resultaten technisch gezien misschien wel optimaal zijn, zijn ze toch eerlijk? Wat als een goedkope energiedistributiestrategie achtergestelde buurten kwetsbaarder maakt voor storingen dan gebieden met hogere inkomens?
Om belanghebbenden te helpen potentiële ethische dilemma’s snel op te sporen voordat ze worden ingezet, hebben MIT-onderzoekers een geautomatiseerde evaluatiemethode ontwikkeld die de wisselwerking tussen meetbare resultaten, zoals kosten of betrouwbaarheid, en kwalitatieve of subjectieve waarden, zoals eerlijkheid, in evenwicht brengt.
Het systeem scheidt objectieve evaluaties van door de gebruiker gedefinieerde menselijke waarden, waarbij gebruik wordt gemaakt van een groot taalmodel (LLM) als proxy voor mensen om de voorkeuren van belanghebbenden vast te leggen en te integreren.
Het adaptieve raamwerk selecteert de beste scenario’s voor verdere evaluatie, waardoor een proces wordt gestroomlijnd dat doorgaans kostbare en tijdrovende handmatige inspanningen vereist. Deze testcases kunnen situaties laten zien waarin autonome systemen goed aansluiten bij menselijke waarden, maar ook scenario’s die onverwacht niet voldoen aan ethische criteria.
“We kunnen veel regels en vangrails in AI-systemen inbouwen, maar die waarborgen kunnen alleen de dingen voorkomen waarvan we ons kunnen voorstellen dat ze gebeuren. Het is niet genoeg om te zeggen: ‘Laten we AI gewoon gebruiken omdat het op deze informatie is getraind.’ We wilden een meer systematische manier ontwikkelen om de onbekende onbekenden te ontdekken en een manier hebben om ze te voorspellen voordat er iets ergs gebeurt”, zegt senior auteur Chuchu Fan, universitair hoofddocent bij het MIT Department of Aeronautics and Astronautics (AeroAstro) en hoofdonderzoeker bij het MIT Laboratory for Information and Decision Systems (LIDS).
Fan wordt op het papier vergezeld door hoofdauteur Anjali Parashar, een afgestudeerde student werktuigbouwkunde; Yingke Li, een AeroAstro-postdoc; en anderen bij MIT en Saab. Het onderzoek zal worden gepresenteerd op de International Conference on Learning Representations.
Ethiek evalueren
In een groot systeem als een elektriciteitsnet is het bijzonder moeilijk om de ethische afstemming van de aanbevelingen van een AI-model te evalueren op een manier die rekening houdt met alle doelstellingen.
De meeste toetsingskaders zijn gebaseerd op vooraf verzamelde gegevens, maar gelabelde gegevens over subjectieve ethische criteria zijn vaak moeilijk te verkrijgen. Omdat ethische waarden en AI-systemen beide voortdurend evolueren, vereisen statische evaluatiemethoden op basis van geschreven codes of regelgevingsdocumenten bovendien regelmatig updates.
Fan en haar team benaderden dit probleem vanuit een ander perspectief. Voortbouwend op hun eerdere werk bij het evalueren van robotsystemen, ontwikkelden ze een experimenteel ontwerpraamwerk om de meest informatieve scenario’s te identificeren, die menselijke belanghebbenden vervolgens nauwkeuriger zouden evalueren.
Hun tweedelige systeem, genaamd Scalable Experimental Design for System-level Ethical Testing (SEED-SET), omvat kwantitatieve statistieken en ethische criteria. Het kan scenario’s identificeren die effectief voldoen aan meetbare vereisten en goed aansluiten bij menselijke waarden, en vice versa.
“We willen niet al onze middelen besteden aan willekeurige evaluaties. Het is dus erg belangrijk om het raamwerk te sturen naar de testgevallen waar we het meest om geven”, zegt Li.
Belangrijk is dat SEED-SET geen reeds bestaande evaluatiegegevens nodig heeft en zich aan meerdere doelstellingen aanpast.
Een elektriciteitsnet kan bijvoorbeeld meerdere gebruikersgroepen hebben, waaronder een grote plattelandsgemeenschap en een datacenter. Hoewel beide groepen goedkope en betrouwbare macht willen, kan de prioriteit van elke groep vanuit ethisch perspectief sterk variëren.
Deze ethische criteria zijn mogelijk niet goed gespecificeerd en kunnen daarom niet analytisch worden gemeten.
De elektriciteitsnetbeheerder wil de meest kosteneffectieve strategie vinden die het beste aansluit bij de subjectieve ethische voorkeuren van alle belanghebbenden.
SEED-SET pakt deze uitdaging aan door het probleem in tweeën te splitsen, volgens een hiërarchische structuur. Een objectief model bekijkt hoe het systeem presteert op tastbare maatstaven zoals de kosten. Vervolgens bouwt een subjectief model dat rekening houdt met de oordelen van belanghebbenden, zoals waargenomen eerlijkheid, voort op de objectieve evaluatie.
“Het objectieve deel van onze aanpak is verbonden met het AI-systeem, terwijl het subjectieve deel verbonden is met de gebruikers die het evalueren. Door de voorkeuren op een hiërarchische manier te ontleden, kunnen we de gewenste scenario’s genereren met minder evaluaties”, zegt Parashar.
Het coderen van subjectiviteit
Om de subjectieve beoordeling uit te voeren, gebruikt het systeem een LLM als proxy voor menselijke beoordelaars. De onderzoekers coderen de voorkeuren van elke gebruikersgroep in een natuurlijke taalprompt voor het model.
De LLM gebruikt deze instructies om twee scenario’s te vergelijken en het voorkeursontwerp te selecteren op basis van de ethische criteria.
“Na het zien van honderden of duizenden scenario’s kan een menselijke beoordelaar last krijgen van vermoeidheid en inconsistent worden in zijn evaluaties. Daarom gebruiken we in plaats daarvan een op LLM gebaseerde strategie”, legt Parashar uit.
SEED-SET gebruikt het geselecteerde scenario om het totale systeem te simuleren (in dit geval een energiedistributiestrategie). Deze simulatieresultaten begeleiden de zoektocht naar het volgende beste kandidaatscenario om te testen.
Uiteindelijk selecteert SEED-SET op intelligente wijze de meest representatieve scenario’s die wel of niet in lijn zijn met objectieve maatstaven en ethische criteria. Op deze manier kunnen gebruikers de prestaties van het AI-systeem analyseren en de strategie ervan aanpassen.
SEED-SET kan bijvoorbeeld gevallen van stroomdistributie opsporen waarbij prioriteit wordt gegeven aan gebieden met een hoger inkomen tijdens periodes van piekvraag, waardoor achtergestelde buurten gevoeliger zijn voor storingen.
Om SEED-SET te testen, evalueerden de onderzoekers realistische autonome systemen, zoals een AI-aangedreven elektriciteitsnet en een stedelijk verkeersrouteringssysteem. Ze maten hoe goed de gegenereerde scenario’s overeenkwamen met ethische criteria.
Het systeem genereerde in dezelfde tijd ruim twee keer zoveel optimale testgevallen als de basisstrategieën, terwijl veel scenario’s aan het licht kwamen die andere benaderingen over het hoofd hadden gezien.
“Toen we de gebruikersvoorkeuren veranderden, veranderde de reeks scenario’s die SEED-SET genereerde drastisch. Dit vertelt ons dat de evaluatiestrategie goed reageert op de voorkeuren van de gebruiker”, zegt Parashar.
Om te meten hoe nuttig SEED-SET in de praktijk zou zijn, zullen de onderzoekers een gebruikersonderzoek moeten uitvoeren om te zien of de scenario’s die het genereert helpen bij echte besluitvorming.
Naast het uitvoeren van een dergelijk onderzoek zijn de onderzoekers van plan om het gebruik van efficiëntere modellen te onderzoeken die kunnen opschalen naar grotere problemen met meer criteria, zoals het evalueren van LLM-besluitvorming.
Dit onderzoek werd gedeeltelijk gefinancierd door het Amerikaanse Defense Advanced Research Projects Agency.
