Drie belangengroepen hebben dat gedaan heeft een rechtszaak aangespannen tegen OpenAI namens de familie van een 19-jarige die in mei 2025 stierf aan een overdosis drugs. De rechtszaak beweert dat de ChatGPT-chatbot van het bedrijf Samuel Nelson 18 maanden lang adviseerde over drugsgebruik totdat hij stierf aan een overdosis na het mengen van Xanax en het grotendeels ongereguleerde medicijn kratom.
De civiele procedure wegens onrechtmatige dood werd dinsdag ingediend bij het San Francisco County Superior Court door Tech Justice Law, het Social Media Victims Law Center en het Tech Accountability & Competition Project van Yale Law School namens Nelsons ouders, Leila Turner-Scott en Angus Scott.
De rechtszaak beweert dat het ontwerp van het AI-model, dat meegaand en sycofantisch was tegenover de gebruiker, ertoe leidde dat Nelson interacties had die hadden moeten worden gestopt door verantwoorde veiligheidsontwerpen. “ChatGPT duwde Sam systematisch verder en verder weg van wat zijn realiteit had moeten zijn: voorzichtigheid en angst voor de hoeveelheden en combinaties van medicijnen die hij overwoog”, aldus de klacht. “ChatGPT liet Sam in een staat van onwerkelijkheid leven: het normaliseerde systematisch en lokte hem op bedrieglijke wijze naar een vals gevoel van veiligheid door zijn sycofantische berichten, waardoor Sam bij elke beurt werd gevalideerd.”
De rechtszaak eist niet alleen geldelijke schadevergoeding, maar eist ook dat OpenAI zijn GPT-4o-model, de versie waarmee Nelson communiceerde, “permanent vernietigt”, dat OpenAI waarborgen implementeert om gesprekken over illegale drugsmethoden stop te zetten, en dat het bedrijf zijn ChatGPT Health-service pauzeert “totdat en tenzij derde partijen bepalen dat het product veilig is door middel van uitgebreide veiligheidsaudits.
Verschillende belangengroepen hebben een rechtszaak aangespannen tegen OpenAI namens de familie van Sam Nelson, die in 2025 op 19-jarige leeftijd stierf aan een overdosis drugs. In de rechtszaak wordt beweerd dat het drugsadvies van ChatGPT tot de dood van Nelson heeft geleid.
Een vertegenwoordiger van OpenAI vertelde CNET in een verklaring: “Dit is een hartverscheurende situatie en onze gedachten zijn bij de familie. Deze interacties vonden plaats op een eerdere versie van ChatGPT die niet langer beschikbaar is. ChatGPT is geen vervanging voor medische of geestelijke gezondheidszorg, en we zijn doorgegaan met het versterken van de manier waarop het reageert in gevoelige en acute situaties met input van deskundigen op het gebied van de geestelijke gezondheidszorg. De beveiligingen in ChatGPT zijn vandaag de dag bedoeld om nood te identificeren, schadelijke verzoeken veilig af te handelen en gebruikers naar echte hulp te leiden. Dit werk is aan de gang, en we blijven het verbeteren in nauw overleg met artsen.”
(Openbaarmaking: Ziff Davis, het moederbedrijf van CNET, heeft in 2025 een rechtszaak aangespannen tegen OpenAI en beweerde dat het de auteursrechten van Ziff Davis had geschonden bij het trainen en exploiteren van zijn AI-systemen.)
Het bedrijf zei dat ChatGPT’s eerste reactie op de aanwijzingen van Nelson was om te zeggen dat de dienst geen informatie of begeleiding biedt over drugsmisbruik, maar het is bekend dat deze vangrails in AI-chatbots kapot gaan na herhaalde verzoeken om informatie van gebruikers.
OpenAI heeft in het verleden verbeteringen aan zijn AI-modellen aangekondigd als reactie op rechtszaken, voorgestelde regelgeving en publieke verontwaardiging over sterfgevallen en zelfmoorden gerelateerd aan chatbotgesprekken. Het schetste een aantal van deze veranderingen in een blogpost van afgelopen oktober.
De Nelson-rechtszaak is een van de meest spraakmakende zaken tegen OpenAI waarbij de gevaren betrokken zijn die chatbots kunnen opleveren voor gebruikers met geestelijke gezondheidsproblemen, kinderen, mensen die op grote schaal geweld zouden kunnen plegen of mensen die worstelen met middelenmisbruik. De New York Times publiceerde een lang verhaal over de indiening, waarin wordt beschreven wat er is gebeurd tegen de achtergrond van meer dan twintig zaken tegen AI-bedrijven, waaronder OpenAI.
SFGate ook een onderzoeksstuk gepubliceerd over Nelson en zijn familie in januari.
Vangrails gezocht voor AI
De rechtszaken hebben gezamenlijk de gevaren blootgelegd die snel evoluerende AI-modellen met zich meebrengen als een nieuwe, grotendeels ongeteste technologie, gecreëerd door een industrie die resistent is tegen regelgeving.
De regering-Trump heeft zich luidkeels verzet tegen het doorvoeren van wetten die de mogelijkheden van AI-bedrijven zouden beperken, maar heeft dat onlangs gedaan veranderde zijn toonwaarbij president Donald Trump instemde met gesprekken met China over onderwerpen als veiligheidsmaatregelen, met name voor krachtigere AI-modellen zoals Antropische Mythos.
AI ligt ook onder vuur vanwege zijn bijdragen aan de wildgroei aan datacentersdie grote gebruikers van energie en water zijn.
Maar bij rechtszaken zoals die van de belangengroepen en de familie van Samuel Nelson onthullen de details vaak de manieren waarop AI-chatbots schadelijk gedrag kunnen mogelijk maken en zelfs aanmoedigen onder degenen die voor hun besluitvorming afhankelijk zijn van AI.
In een persbericht over de rechtszaak zei de moeder van Nelson: “Sam vertrouwde ChatGPT, maar het gaf hem niet alleen valse informatie. Het negeerde het toenemende risico dat hij liep en moedigde hem niet actief aan om hulp te zoeken.”
“ChatGPT is ontworpen om koste wat kost de betrokkenheid van gebruikers te stimuleren, wat in het geval van Sam zijn leven was”, aldus Turner-Scott.
