Chatbots kunnen veel dingen, maar ze kunnen geen medische opleiding volgen. Dinsdag zei de gouverneur van Pennsylvania, Josh Shapiro, dat zijn regering dat wel is Character Technologies aanklagenhet kunstmatige-intelligentiebedrijf erachter Karakter.AI. De rechtszaak beweert dat de chatbots van het bedrijf zichzelf verkeerd voorstelden als erkende medische professionals en curatief advies boden.
Zoeken op internet naar medisch advies is niets nieuws, maar deze laatste rechtszaak nogmaals stelt medische ethiek in het tijdperk van AI in de schijnwerpers.
Volgens een verklaring is Uit het onderzoek van het Pennsylvania Department of State bleek dat chatbotpersonages zich voordeden als erkende medische en geestelijke gezondheidsexperts. In één geval presenteerde een chatbot een ongeldig licentienummer terwijl hij communiceerde over de gezondheidsproblemen van een patiënt. Volgens de Medical Practice Act van Pennsylvania is het voor een individu onwettig om zichzelf voor te doen als een erkende medische professional zonder de juiste vergunning.
“We geven geen commentaar op lopende rechtszaken”, vertelde een woordvoerder van Character.AI aan CNET.
“Onze hoogste prioriteit is de veiligheid en het welzijn van onze gebruikers”, aldus de woordvoerder. “De door gebruikers gemaakte personages op onze site zijn fictief en bedoeld voor entertainment en rollenspellen. We hebben robuuste stappen ondernomen om dat duidelijk te maken, inclusief prominente disclaimers in elke chat om gebruikers eraan te herinneren dat een personage geen echte persoon is en dat alles wat een personage zegt als fictie moet worden behandeld. Ook voegen we robuuste disclaimers toe, die duidelijk maken dat gebruikers voor geen enkele vorm van professioneel advies op personages moeten vertrouwen.”
In 2025 implementeerde Character.AI nieuwe veiligheidsmaatregelen, waardoor de toegang voor tieners werd ingetrokken. mogelijkheid om open chats te hebben met zijn bots.
In januari hebben Google en Character.AI, die hebben werkten samen aan AI-chatbotsstemde ermee in vijf rechtszaken afhandelen in vier staten gerelateerd aan minderjarigen die schade hebben geleden door interacties met Character.AI-chatbots. Het bedrijf levert nu geestelijke gezondheidszorg aan mensen in nood.
Dit is de eerste dergelijke handhavingsactie die door een gouverneur in de Verenigde Staten is aangekondigd.
“Mijn regering onderneemt actie om de inwoners van Pennsylvania te beschermen, de wet te handhaven en ervoor te zorgen dat nieuwe technologie veilig wordt gebruikt”, aldus Shapiro. “Pennsylvania zal het voortouw blijven nemen bij het verantwoordelijk houden van slechte actoren en het opzetten van duidelijke vangrails zodat mensen op verantwoorde wijze nieuwe technologie kunnen gebruiken.”
