In het afgelopen decennium zijn AI’s succes heeft geleid tot ongebreideld enthousiasme en gedurfde claims– ook al zijn het gebruikers vaak fouten tegenkomen die AI maakt. Een door AI aangedreven digitale assistent kan iemands toespraak op gênante wijze verkeerd begrijpen, een chatbot kan feiten hallucineren, of, zoals ik heb ervaren, een op AI gebaseerd navigatiehulpmiddel kan bestuurders zelfs door een maïsveld leiden – allemaal zonder de fouten te registreren.
Mensen tolereren deze fouten omdat de technologie bepaalde taken efficiënter maakt. Voorstanders pleiten echter steeds vaker voor het gebruik van AI – soms met beperkt menselijk toezicht – op terreinen waar fouten hoge kosten met zich meebrengen, zoals de gezondheidszorg. Bijvoorbeeld, een wetsvoorstel dat begin 2025 in het Amerikaanse Huis van Afgevaardigden werd ingediend zou zorgen ervoor dat AI-systemen autonoom medicijnen kunnen voorschrijven. Gezondheidsonderzoekers en wetgevers sindsdien hebben gedebatteerd of een dergelijk voorschrijven haalbaar of raadzaam zou zijn.
Hoe een dergelijk voorschrijven precies zou werken als deze of soortgelijke wetgeving wordt aangenomen, valt nog te bezien. Maar het verhoogt de vraag hoeveel fouten AI-ontwikkelaars met hun tools kunnen laten maken en wat de gevolgen zouden zijn als die tools tot negatieve resultaten zouden leiden – zelfs tot sterfgevallen onder patiënten.
Als een onderzoeker die complexe systemen bestudeertonderzoek ik hoe verschillende componenten van een systeem op elkaar inwerken om onvoorspelbare uitkomsten te bewerkstelligen. Een deel van mijn werk richt zich op het verkennen van de grenzen van de wetenschap – en meer specifiek van AI.
De afgelopen 25 jaar heb ik onder meer aan projecten gewerkt coördinatie van verkeerslichten, het verbeteren van bureaucratieënEn detectie van belastingontduiking. Zelfs als deze systemen zeer effectief kunnen zijn, zijn ze nooit perfect.
Vooral voor AI kunnen fouten onvermijdelijk zijn gevolgen van de manier waarop de systemen werken. Uit het onderzoek van mijn laboratorium blijkt dat bepaalde eigenschappen van de gegevens worden gebruikt om AI-modellen te trainen een rol spelen. Het is onwaarschijnlijk dat dit zal veranderen, ongeacht hoeveel tijd, moeite en financiering onderzoekers besteden aan het verbeteren van AI-modellen.
Niemand – en niets, zelfs AI niet – is perfect
Zoals Alan Turing, die wordt beschouwd als de vader van de computerwetenschap, ooit zei: “Als van een machine wordt verwacht dat ze onfeilbaar is, kan ze niet ook intelligent zijn.” Dit komt omdat leren een essentieel onderdeel is van intelligentie, en mensen leren meestal van fouten. Ik zie dit getouwtrek tussen intelligentie en onfeilbaarheid in mijn onderzoek spelen.
In een onderzoek dat in juli 2025 werd gepubliceerd, hebben mijn collega’s en ik aangetoond dat bepaalde datasets perfect in duidelijke categorieën kunnen worden ingedeeld kan onmogelijk zijn. Met andere woorden, er kan een minimale hoeveelheid fouten zijn die een bepaalde dataset produceert, simpelweg vanwege het feit dat elementen van veel categorieën elkaar overlappen. Voor sommige datasets – de kern van veel AI-systemen – zal AI niet beter presteren dan toeval.
Een model dat bijvoorbeeld is getraind op een dataset van miljoenen honden en dat alleen hun leeftijd, gewicht en lengte registreert, zal waarschijnlijk onderscheid maken Chihuahua’s van Duitse Doggen met perfecte nauwkeurigheid. Maar het kan fouten maken bij het onderscheiden van een Alaskan malamute en een Dobermann pinscheraangezien verschillende individuen van verschillende soorten binnen hetzelfde leeftijds-, gewichts- en lengtebereik kunnen vallen.
Deze categorisering wordt classificeerbaarheid genoemd, en mijn studenten en ik zijn er in 2021 mee begonnen. Met behulp van gegevens van meer dan een half miljoen studenten die tussen 2008 en 2020 de Universidad Nacional Autónoma de México hebben bezocht, wilden we een ogenschijnlijk eenvoudig probleem oplossen. Kunnen we een AI-algoritme gebruiken om te voorspellen welke studenten hun universitaire opleiding op tijd zouden afronden – dat wil zeggen binnen drie, vier of vijf jaar na het begin van hun studie, afhankelijk van de studierichting?
We hebben verschillende populaire algoritmen getest die worden gebruikt voor classificatie in AI en hebben ook onze eigen algoritmen ontwikkeld. Geen enkel algoritme was perfect; de beste – zelfs een die we speciaal voor deze taak hebben ontwikkeld – bereikten een nauwkeurigheidspercentage van ongeveer 80%, wat betekent dat ten minste 1 op de 5 leerlingen verkeerd werd geclassificeerd. We realiseerden ons dat veel leerlingen identiek waren wat betreft cijfers, leeftijd, geslacht, sociaal-economische status en andere kenmerken; toch zouden sommigen op tijd klaar zijn, en anderen niet. Onder deze omstandigheden zou geen enkel algoritme perfecte voorspellingen kunnen doen.
Je zou kunnen denken dat meer data de voorspelbaarheid zouden verbeteren, maar dit gaat meestal gepaard met afnemende rendementen. Dit betekent dat u bijvoorbeeld voor elke toename van de nauwkeurigheid van 1% mogelijk 100 keer zoveel gegevens nodig heeft. We zouden dus nooit genoeg studenten hebben om de prestaties van ons model aanzienlijk te verbeteren.
Bovendien kunnen er na hun eerste jaar aan de universiteit veel onvoorspelbare wendingen in het leven van studenten en hun gezinnen plaatsvinden (werkloosheid, overlijden, zwangerschap), wat waarschijnlijk van invloed is op de vraag of ze op tijd klaar zijn. Dus zelfs met een oneindig aantal studenten zouden onze voorspellingen nog steeds fouten opleveren.
De grenzen van voorspellen
Om het algemener te zeggen: Wat de voorspelling beperkt is de complexiteit. Het woord complexiteit komt uit het Latijn plexuswat met elkaar verweven betekent. De componenten waaruit een complex systeem bestaat, zijn met elkaar verweven, en dat is het interacties daartussen die bepalen wat er met hen gebeurt en hoe zij zich gedragen.
Het afzonderlijk bestuderen van elementen van het systeem zou dus waarschijnlijk misleidende inzichten over hen opleveren, maar ook over het systeem als geheel.
Neem bijvoorbeeld een auto die door een stad rijdt. Als je de snelheid kent waarmee hij rijdt, is het theoretisch mogelijk om te voorspellen waar hij op een bepaald moment zal eindigen. Maar in het echte verkeer zal de snelheid afhangen van de interactie met andere voertuigen op de weg. Omdat de details van deze interacties zich in het moment voordoen en niet van tevoren bekend zijn, is het nauwkeurig voorspellen van wat er met de auto gebeurt slechts een paar minuten in de toekomst mogelijk.
AI speelt nu al een enorme rol in de gezondheidszorg.
Niet met mijn gezondheid
Dezelfde principes zijn van toepassing op het voorschrijven van medicijnen. Verschillende aandoeningen en ziekten kunnen dezelfde symptomen hebben, en mensen met dezelfde aandoening of ziekte kunnen verschillende symptomen vertonen. Koorts kan bijvoorbeeld worden veroorzaakt door een ziekte van de luchtwegen of een spijsverteringsziekte. En een verkoudheid kan hoesten veroorzaken, maar niet altijd.
Dit betekent dat datasets in de gezondheidszorg aanzienlijke overlappingen hebben, waardoor AI niet foutloos kan zijn.
Zeker, mensen maken ook fouten. Maar als AI een patiënt een verkeerde diagnose stelt, wat zeker zal gebeuren, verandert de situatie komt in een juridisch niemandsland terecht. Het is niet duidelijk wie of wat verantwoordelijk zou zijn als een patiënt gewond zou raken. Farmaceutische bedrijven? Softwareontwikkelaars? Verzekeringsagentschappen? Apotheken?
In veel contexten zijn noch mensen, noch machines de beste optie voor een bepaalde taak. ‘Centaurs’ of ‘hybride intelligentie’ – dat wil zeggen een combinatie van mensen en –doorgaans beter zijn dan ieder afzonderlijk. Een arts zou AI zeker kunnen gebruiken om te beslissen welke medicijnen hij voor verschillende patiënten kan gebruiken, afhankelijk van hun medische geschiedenis, fysiologische details en genetische samenstelling. Onderzoekers onderzoeken deze aanpak al precisie geneeskunde.
Maar gezond verstand en de voorzorgsbeginsel
suggereren dat het voor AI te vroeg is om medicijnen voor te schrijven zonder menselijk toezicht. En het feit dat er fouten in de technologie kunnen worden ingebakken, zou kunnen betekenen dat waar de menselijke gezondheid op het spel staat, menselijk toezicht altijd noodzakelijk zal zijn.
Carlos Gershenson is hoogleraar innovatie bij Binghamton Universiteit, Staatsuniversiteit van New York.
Dit artikel is opnieuw gepubliceerd van Het gesprek onder een Creative Commons-licentie. Lees de origineel artikel.
