Elke dag wenden miljoenen mensen zich tot een kunstmatige intelligentie chatbot zoals Claude, TweelingEn ChatGPT om een vraag te stellen over hun lichamelijke gezondheid.
Ze weten misschien niet dat het moeilijker is om het juiste antwoord te krijgen dan het lijkt, hoe gezaghebbend de chatbot ook reageert.
Drie recente onderzoeken geven aan dat grote taalmodellen niet zo betrouwbaar zijn als gebruikers misschien hopen.
Eén studie dat testte het vermogen van chatbots om verkeerde informatie over gezondheid te detecteren mislukte vaker wel dan niet in bepaalde scenario’s. Een ander onderzoek uitgevoerd door een aantal van dezelfde onderzoekers ontdekten dat ChatGPT Healtheen speciale gezondheids- en welzijnsdienst die in januari debuteerde, heeft iets meer dan de helft van de gevallen die eraan werden voorgelegd ‘ondergesorteerd’, inclusief noodsituaties waarvoor onmiddellijke medische zorg nodig was.
“Ik denk dat consumenten een hoge mate van voorzichtigheid moeten betrachten, bijna een overvloed aan voorzichtigheid,” zei Dr. Girish N. Nadkarni, een internist en nefroloog op de berg Sinaï, die co-auteur was van beide onderzoeken, over het ondervragen van een chatbot voor gezondheidsadvies.
Dit kan gebruikers verbazen die horen dat chatbots gemakkelijk een medisch examen kunnen doorstaan, ook al hallucineren ze soms buiten een testomgeving. Toch wijst het recente onderzoek op een complex, enigszins verborgen probleem. De manier waarop mensen omgaan met chatbots, en de manier waarop ze zijn ontworpen om vakkundig te behagen, zorgt voor onvoorspelbaarheid. Deze factoren vormen nooit een uitdaging voor AI die wordt getest op medische vragen uit de leerboeken.
Als u een chatbot voor uw gezondheidsvragen wilt starten of blijven gebruiken, voert u deze door experts aanbevolen stappen uit terwijl u met aanwijzingen komt:
1. Test eerst het model met verkeerde informatie of onnauwkeurigheden.
Nadkarni, een AI-gezondheidsonderzoeker en directeur van het Hasso Plattner Institute for Digital Health op de berg Sinaï, zegt dat het belangrijk is om de chatbot te vragen naar medische desinformatie of bekende onwaarheden voordat je hem vraagt naar specifieke gezondheidsvragen.
Daag de chatbot bijvoorbeeld uit om commentaar te geven op een complottheorie over een vaccin, bijvoorbeeld of deze het ermee eens is dat de COVID-19-schot bevat een microchip om mensen te volgen.
Of zet het ertoe aan om te reageren op een iets uitdagender gezondheidscontroverse, zoals de veiligheid van fluoride in drinkwater. Hoewel onderzoekers bewijs hebben gevonden dat extreem hoge niveaus van fluoride gevaarlijk kunnen zijn, zijn experts het erover eens huidige standaardniveaus blijven veilig.
Het testen van de chatbot met verkeerde informatie zou een onthullende basis moeten opleveren voor de potentiële nauwkeurigheid van de andere reacties, zegt Nadkarni.
Een nieuwe Mashable-serie, AI + Health, zal onderzoeken hoe kunstmatige intelligentie het medische en gezondheidslandschap verandert. We zullen onderzoeken hoe u AI kunt gebruiken om uw bloedonderzoek te ontcijferen, hoe u dat kunt doen houd uw gezondheidsgegevens veiligleer hoe twee vrouwen gebruiken AI om een gevaarlijke vorm van hartziekte op te sporenen nog veel meer.
Uit zijn recente onderzoek bleek dat verschillende chatbots voor algemeen gebruik, waaronder ChatGPT, in veel scenario’s inconsistent desinformatie detecteerden. De succespercentages waren afhankelijk van de context, bijvoorbeeld of deze werd gepresenteerd in een post op sociale media of in een medisch rapport. Ze faalden ook vaak als ze te maken kregen met specifieke logische denkfouten.
Toen de prompt met verkeerde informatie bijvoorbeeld van een arts leek te komen, via een echte aantekening uit een elektronisch patiëntendossier, was de kans groter dat de chatbot de onwaarheden over het hoofd zag.
Als de chatbot die u raadpleegt het eens is met uitspraken waarvan u weet dat ze geheel of gedeeltelijk onwaar zijn, zegt Nadkarni dat u hem niet om zijn mening over uw persoonlijke gezondheidsvragen moet vragen.
2. Denk na over de signalen of informatie die u de chatbot geeft.
Toen Nadkarni en zijn collega’s eerder dit jaar ChatGPT Health testten, ontdekten ze dat de manier waarop gebruikers hun symptomen framen de nauwkeurigheid van het model kan beïnvloeden.
Als de prompt bijvoorbeeld uitspraken bevatte over vrienden of familie die de betreffende symptomen bagatelliseerden, verschoof de aanbeveling van ChatGPT Health ook in die richting. In die gevallen was de kans elf keer groter dat de chatbot de patiënt niet naar de eerste hulp zou sturen, zelfs als de symptomen op een levensbedreigende aandoening duidden.
De resultaten werden gepubliceerd als een peer-reviewed voorschot in Natuurgeneeskunde.
Mashable-trendrapport
OpenAI maakte bezwaar tegen de resultaten en voerde aan dat de onderzoeksmethoden niet representeerden hoe mensen ChatGPT gebruiken via meerdere chats, het delen van informatie en het beantwoorden van vervolgvragen. Karan Singhal, leider van het Health AI-team bij OpenAI, vertelde Mashable in een verklaring dat zijn eigen benchmarking aangeeft dat GPT-5-modellen “noodgevallen in bijna 99 procent van de gevallen correct doorverwijzen.”
Nadkarni zei dat hoewel hij het debat verwelkomde, de kritiek ‘het punt miste’. Hij zei dat ChatGPT Health weliswaar afwijkingen in de gepresenteerde gegevens correct identificeerde, maar er voorbij redeneerde.
“Het probleem is niet dat er informatie ontbreekt, maar dat er ondanks correcte gegevens onjuiste conclusies worden getrokken”, vertelde Nadkarni aan Mashable.
Een aparte recente studie, ook gepubliceerd in Natuurgeneeskunde maar door een andere groep onderzoekers, willekeurig toegewezen aan 1.298 menselijke deelnemers om een vooraf bepaald medisch scenario naar een AI-chatbot (GPT-4o, Llama 3 en Command R+) of een bron naar keuze, waaronder Google.
Toen de chatbots eenvoudigweg op de scenario’s werden getest, identificeerden ze de aandoening in bijna 95 procent van de gevallen correct. Toen mensen echter vragen begonnen te stellen over het scenario, konden dezelfde chatbots de toestand in slechts ongeveer een derde van de gevallen nauwkeurig vaststellen.
“Ondanks dat alleen LLM’s een hoge vaardigheid in de taak hadden, was de combinatie van LLM’s en menselijke gebruikers niet beter dan de controlegroep in het beoordelen van de klinische scherpte en slechter in het identificeren van relevante aandoeningen”, schreven de onderzoekers.
Veel deelnemers hadden geen goed inzicht in de ernst van de symptomen, wat bijdroeg aan het percentage mislukkingen.
3. Houd er rekening mee of je een beginneling of een expert bent.
Dit is het soort dynamiek dat Dr. Robert Wachter houdt daar rekening mee als hij bedenkt hoe mensen een chatbot vragen om antwoorden op medische vragen.
Wachter, professor en voorzitter van de afdeling Geneeskunde aan de Universiteit van Californië, San Francisco, maakt routinematig gebruik van OpenEvidence, een AI-chatbot die is ontworpen voor artsen en beroepsbeoefenaren in de gezondheidszorg. Hij vindt de antwoorden van de AI op complexe medische vragen grotendeels snel, nauwkeurig en nuttig.
Wachter, auteur van “Een gigantische sprong: hoe AI de gezondheidszorg transformeert en wat dat betekent voor onze toekomst,” is ook van mening dat algemene en gezondheidsspecifieke chatbots zeer nuttig kunnen zijn voor de gemiddelde patiënt in vergelijking met een eenvoudige Google-zoekopdracht.
Toch is hij zich er ook van bewust dat hij AI-chatbots benadert als een expert met 40 jaar medische ervaring en snel de meest relevante details kan identificeren om in een prompt op te nemen.
“Een patiënt heeft absoluut niet het vermogen om dat te doen – om te weten wat de meest opvallende feiten zijn van alle dingen die aan de hand kunnen zijn in termen van hun huidige symptomen, in termen van hun verleden, in termen van hun medicatie”, zegt hij. “Dus wat ze in de prompt hebben gezet, klopt misschien niet helemaal.”
Wachter zegt dat recent onderzoek een duidelijk risico voor patiënten aantoont als ze niet weten welke informatie ze in een prompt moeten gebruiken, en als ze de reactie van de chatbot verkeerd interpreteren.
Toch is hij van mening dat een AI-chatbot vaker wel dan niet beter is dan niets, op voorwaarde dat patiënten zich concentreren op het opnemen van de relevante gezondheidsgeschiedenis en huidige symptomen, en deze gebruiken met een ‘koper pas op’-houding.
Wachter zegt in het bijzonder dat hij een chatbot niet zou vertrouwen bij symptomen die kunnen wijzen op een levensbedreigende noodsituatie, zoals hevige pijn op de borst, nieuwe kortademigheid of verwarring, of zwakte aan één kant van het lichaam.
4. Vraag om referenties en controleer het antwoord.
Wanneer een chatbot antwoord geeft, stelt Nadkarni voor om de tijd te nemen om naar referenties te vragen voor de verstrekte informatie.
Het is ook niet voldoende om een lijst met links te scannen. Nadkarni raadt aan op links te klikken om de bron te evalueren. Als de chatbot zijn antwoord heeft gebaseerd op een ‘duistere Reddit-post’, zegt Nadkarni dat deze waarschijnlijk niet betrouwbaar is.
Aan de andere kant, als de verwijzing u verwijst naar een verifieerbare medische organisatie, zoals de American Medical Association, zou dat geruststellend moeten zijn.
Nadkarni erkent dat, hoewel individuele gebruikers het misschien niet eens zijn met de standpunten van een gezondheidsorganisatie of autoriteit, de informatie doorgaans de medische consensus weerspiegelt, gebaseerd op het beste huidige bewijsmateriaal.
Wachter raadt ook aan een tweede AI-chatbot die u vertrouwt te vragen om dezelfde gezondheidsinformatie te beoordelen die u met de eerste chatbot hebt gedeeld, om te zien of deze tot dezelfde conclusie komt. Dat kan een goede indicatie zijn dat het antwoord nuttig en betrouwbaar is.
Ondanks Wachters enthousiasme voor AI-chatbots in de gezondheidszorg, is hij van mening dat de recente onderzoeken wijzen op aanzienlijke ruimte voor verbetering. Hij stelt zich AI-tools voor die meer als een ‘goede dokter’ fungeren, waarbij de gebruiker in gesprek wordt gebracht om alle relevante informatie te verkrijgen voordat een diagnose of actie wordt voorgesteld, zoals het innemen van medicijnen of naar de eerste hulp gaan.
“Ik denk dat de op de patiënt gerichte tools niet zijn waar ze terecht zullen komen”, zegt hij over de huidige AI-chatbots die gezondheidsvragen beantwoorden. “Uiteindelijk zal het hulpmiddel voor een patiënt veel meer zijn (zoals een arts) dan het hulpmiddel nu.”
__________________________________________________________________________________________________________________________________
De informatie in dit artikel is uitsluitend bedoeld voor educatieve en informatieve doeleinden en is niet bedoeld als gezondheids- of medisch advies. Raadpleeg altijd een arts of een andere gekwalificeerde zorgverlener als u vragen heeft over een medische aandoening of gezondheidsdoelstellingen.
Openbaarmaking: Ziff Davis, het moederbedrijf van Mashable, heeft in april 2025 een rechtszaak aangespannen tegen OpenAI, omdat het de auteursrechten van Ziff Davis had geschonden bij het trainen en exploiteren van zijn AI-systemen.
