HealthBench: de medische AI-benchmarkscores van OpenAI uitgelegd – en wat ze betekenen voor klinische AI
OpenAI beschrijft HealthBench als “een nieuwe benchmark die is ontworpen om de mogelijkheden van AI-systemen voor de gezondheid beter te meten.” Het geeft scores uit op basis van een reeks van meer dan 48.000 criteria, geschreven door artsen die relevant zijn voor het gesprek. Deze gesprekken kunnen in 1 van de 7 categorieën vallen die HealthBench heeft gedefinieerd, van noodverwijzingen en taken op het gebied van gezondheidsgegevens tot het vragen om context of het identificeren van onzekerheid. Bovendien wordt elk criterium verder beoordeeld op factoren zoals nauwkeurigheid, duidelijkheid en volledigheid, inclusief aanbevelingen voor de beste actie.
In een onderzoekspaper bij de HealthBench-release rapporteert OpenAI “gestage aanvankelijke vooruitgang … en snellere recente verbeteringen” in de prestaties en veiligheid van het model.
Onafhankelijk onderzoek is meer gemengd. Eén artikel zegt dat HealthBench “betrouwbaar is en goed aansluit bij de beoordelingen van artsen”, maar merkt op dat het ontbreekt aan “real-time klinische interactiebeoordelingen of meting van klinische resultaten verderop in de keten.” Een tweede artikel beschrijft HealthBench als een “significante vooruitgang in de medische AI-benchmarking”, maar constateert een ondervertegenwoordiging van zeldzame ziekten en een onvermogen om longitudinale workflows te beoordelen, “waardoor het inzicht in de impact van AI op het volledige zorgcontinuüm wordt beperkt.”
Ghane zegt dat het belangrijk is om te onthouden dat benchmarks zoals HealthBench geen directe vervanging zijn voor bewijsmateriaal uit de echte wereld. “Scores weerspiegelen de prestaties in gesimuleerde omgevingen en moeten worden geïnterpreteerd naast real-world, lokale tests, workflowintegratie en veiligheid”, zegt ze. “Zorgsystemen moeten niet volledig afhankelijk zijn van benchmarks voor implementatiebeslissingen; ze zouden een van de vele maatstaven moeten zijn die worden gebruikt om AI-inkoop te informeren.”
LEES MEER: Profiteer van data en AI voor betere resultaten in de gezondheidszorg.
Overwegingen bij de implementatie van ondernemingen: Claude, Gemini en OpenAI
Ondertussen heeft elk van de grote LLM-spelers de afgelopen maanden een reeks door AI aangedreven producten uitgebracht voor ziekenhuizen en gezondheidszorgsystemen. Elk aanbod is een beetje anders, en het is belangrijk voor organisaties om deze nuance te begrijpen bij het evalueren van AI-tools op ondernemingsniveau. “Het belangrijkste is hoe een oplossing presteert op uw unieke patiënten, gebruikscontext, gegevens en workflows”, zegt Ghane.
Claude voor de gezondheidszorg. Claude kan putten uit ‘industriestandaardsystemen en databases’, maar ook uit de National Provider Identifier Registry, de ICD-10-codebasis en databases voor het bepalen van de dekking. Organisaties kunnen AI-agenten inzetten voor voorafgaande autorisatie en Fast Healthcare Interoperability Resources-gegevensuitwisseling, die opties bieden om een reeks administratieve processen te automatiseren.
Tweeling 3.0. Aashima Gupta, mondiaal directeur gezondheidszorg voor Google Cloud, suggereert in een LinkedIn-post dat Gemini’s onderscheidende factor multimodaliteit is, oftewel de mogelijkheid om “tekst, stem, afbeeldingen, golfvormen, scans, genomics-gegevens, klinische richtlijnen en operationele gegevens” samen te brengen. Dit kan worden gebruikt ter ondersteuning van aanbevelingen voor de beste actie. Gemini 3.0 bevat ook AI-agents voor het automatiseren van workflows in bedrijfsapplicaties.
Klik op onderstaande banner om u voor aan te melden GezondheidTech’s wekelijkse nieuwsbrief.
