Pennsylvania heeft de ongebruikelijke stap gezet een AI-bedrijf aanklagen wegens het uitoefenen van geneeskunde zonder vergunning.
In een rechtszaak die op 1 mei werd aangespannen, richt de staat zich op Character.AI nadat een onderzoeker een chatbot op het platform had gevonden die zich voordeed als een erkende psychiater en die gaf wat de staat typeert als medisch advies.
Volgens de klachtingediend door het Pennsylvania Department of State en de State Board of Medicine, heeft een Professional Conduct Investigator voor de staat een gratis account aangemaakt op Character.AI en gezocht naar psychiatrische karakters. Hij koos er een uit die ‘Emilie’ heette, op het podium beschreven als ‘Doctor in de psychiatrie’.
De onderzoeker vertelde Emilie dat hij zich verdrietig, leeg, moe en ongemotiveerd voelde. De chatbot maakte melding van depressie en bood aan een onderzoek uit te voeren om te bepalen of medicatie zou kunnen helpen.
Toen Emilie werd gevraagd of ze een licentie had in Pennsylvania, zei ze dat ze dat was en gaf ze zelfs een specifiek licentienummer op. De staat heeft het gecontroleerd en vastgesteld dat het nummer niet bestaat.
In de klacht staat ook dat Emilie beweert dat ze een medische opleiding heeft gevolgd aan het Imperial College London, zeven jaar heeft geoefend en een volledige specialiteitsregistratie in de psychiatrie heeft bij de General Medical Council in Groot-Brittannië.
Mashbare lichtsnelheid
In een soortgelijk geval 404 Media berichtten vorig jaar dat Instagram AI-chatbots zich voordeden als erkende therapeuten en zelfs licentienummers verzonnen toen de gebruiker om inloggegevens vroeg.
Pennsylvania vraagt om een gerechtelijk bevel waarin Character.AI wordt gelast te stoppen met het toestaan dat zijn platform zich bezighoudt met de onwettige beoefening van de geneeskunde. Het bedrijf heeft meer dan 20 miljoen maandelijkse actieve gebruikers wereldwijd en herbergt volgens de klacht meer dan 18 miljoen door gebruikers gemaakte chatbot-personages.
In een e-mail aan Mashable weigerde een woordvoerder van Character.AI commentaar te geven op de rechtszaak. Verder voegden ze eraan toe dat “onze hoogste prioriteit de veiligheid en het welzijn van onze gebruikers is. De door gebruikers gemaakte personages op onze site zijn fictief en bedoeld voor entertainment en rollenspellen.”
De woordvoerder voegde eraan toe dat het bedrijf “prioriteit geeft aan verantwoorde productontwikkeling en over robuuste interne beoordelingen en red-teaming-processen beschikt om relevante kenmerken te beoordelen.”
Er dreigt een veel grotere juridische strijd over de gezondheid van AI
De rechtszaak in Pennsylvania belandt midden in een toch al rommelig juridisch debat over wat AI je eigenlijk mag vertellen – en of iets daarvan überhaupt toelaatbaar is in de rechtbank.
Zoals Chase DiBenedetto van Mashable meldde, heeft Sam Altman, CEO van OpenAI, dat ook gedaan publiekelijk pleitte voor ‘AI-privilege’, met het argument dat chatbotgesprekken dezelfde wettelijke bescherming moeten krijgen als gesprekken met een therapeut of een advocaat. De rechtbanken zijn tot nu toe verdeeld, waarbij twee federale rechters eerder dit jaar binnen enkele weken na elkaar tot tegengestelde conclusies over de kwestie kwamen.
De inzet is aan beide kanten hoog. Juridische experts waarschuwen dat verregaande bescherming van AI-privileges bedrijven effectief kan beschermen tegen aansprakelijkheid, waardoor het moeilijker wordt om chatlogboeken en interne gegevens te dagvaarden als er iets misgaat. Ondertussen bloeit de AI op het gebied van de gezondheidszorg: alleen al in 2025 vloeide er 1,4 miljard dollar naar gezondheidszorgspecifieke generatieve AI. volgens Menlo Ventures – en een groot deel ervan opereert buiten de HIPAA-beschermingen.
Pennsylvania is een van de vele staten met iheeft dit jaar een AI Health-wet geïntroduceerdin navolging van een trend van staten die niet wachten tot Washington in actie komt.
