Met eerdere hulpmiddelen voor klinische besluitvorming, zei ze, was er een beter inzicht in de algoritmen die werden geïmplementeerd en waren er duidelijkere gegevensbronnen. Maar met de nieuwere generatie AI-tools “zijn dit een soort zwarte dozen in de klinische setting. Dus als ik een patiënt zie en er een soort beslissingsondersteuning verschijnt, weet ik misschien niet wat het algoritme op de achtergrond is. Ik weet misschien niet of de gegevens die in het algoritme zijn gestopt juist zijn”, zei ze.
Ze vroeg zich ook af wat voor soort feedbackloops er voor deze tools bestonden. “Als er dingen misgaan, hebben we dan een manier om ze te melden? Zullen we ze kunnen repareren als we ze melden? Wat zijn die mechanismen? En ik denk dat het hebben van processen zo belangrijk zal zijn dat we ons op ons gemak voelen bij het gebruik van deze hulpmiddelen in de klinische omgeving. We erkennen absoluut de waarde ervan. We weten dat ze erg nuttig kunnen zijn in een klinische omgeving. Maar er moet wel een vertrouwen zijn dat wordt gewonnen als we ze blijven uitrollen.”
Lozovatsky voegde eraan toe dat organisaties moeten letten op hallucinaties en driften als deze modellen bedoeld zijn om de patiëntenzorg te beïnvloeden.
Dr. Kathryn King, hoofd medische informatie en mededirecteur van het nationale telezorgcentrum van uitmuntendheid aan de Medical University of South Carolina Health, zei dat het adopteren van AI in klinische omgevingen waarschijnlijk een herconfiguratie van workflows zal vereisen die beginnen met het elektronische systeem voor medische dossiers.
“De onvolwassenheid die ik zie bij AI-oplossingen in de klinische ruimte is eigenlijk dat ze een puntoplossing zijn, als je wilt, op een bepaald punt in een lange klinische workflow, meestal binnen het EPD,” zei King. “Dat ene punt in de workflow lost niet echt het hele probleem van een arts op.”
Hoewel de HITECH Act van 2009 een integraal onderdeel was van het aansporen van gezondheidszorgorganisaties om EPD-systemen te adopteren, ging het proces in de kern over het digitaliseren van papieren dossiers. Een aantal van de kenmerken van het EPD zijn overblijfselen van papieren kaarten.
“Ik denk dat de volgende iteratie hiervan het stellen van de vragen moet zijn: waarom doen we de dingen zoals we al die jaren hebben gedaan, en hoe gaan we naar een andere workflow die misschien meer stemgebruik omvat, maar op een manier die voor elk individu logisch is? En voor mij lag de focus zo veel op ‘dit is het hulpmiddel, dit is het coole’, in plaats van een stap terug te doen en de manier waarop we zorg verlenen echt opnieuw uit te vinden”, aldus Lozovatsky.
