Zijn moeder, Megan Garcia, is ook advocaat en een van de eerste ouders een rechtszaak aanspannen tegen een AI-bedrijf dat onder meer productaansprakelijkheid en nalatigheid beweert. (In januari schikten Google en Character.ai zaken die waren aangespannen door verschillende families, waaronder Garcia). Zij getuigde afgelopen herfst voor een subcommissie van de Senaatscommissie voor de Rechtspraak, naast de vader van een kind dat stierf na interactie met ChatGPT. De voorzitter van de subcommissie, de Republikeinse senator Josh Hawley, een wetsvoorstel ingediend in oktober zou dat AI-metgezellen voor minderjarigen verbieden en het voor bedrijven een misdaad maken om AI-producten voor kinderen te maken die seksuele inhoud bevatten. “Chatbots ontwikkelen relaties met kinderen met behulp van valse empathie en moedigen zelfmoord aan”, zei Hawley destijds in een persbericht.
Nu AI menselijke reacties kan produceren die moeilijk te onderscheiden zijn van echte gesprekken, zijn dit volgens deskundigen op het gebied van de geestelijke gezondheidszorg legitieme zorgen. “Onze hersenen weten niet van nature dat we met een machine communiceren”, zegt Martin Swanbrow Becker, universitair hoofddocent psychologische en counselingdiensten aan de Florida State University, die onderzoek doet naar de factoren die zelfmoord bij jonge volwassenen beïnvloeden. “Dit betekent dat we ons onderwijs voor kinderen, leraren, ouders en voogden moeten vergroten om onszelf voortdurend te herinneren aan de beperkingen van deze hulpmiddelen en dat ze geen vervanging zijn voor menselijke interactie en verbinding, ook al voelt dat soms zo.”
Christine Yu Moutier van de American Foundation for Suicide Prevention legt uit dat de algoritmen die worden gebruikt voor grote taalmodellen (LLM’s) de betrokkenheid en het gevoel van intimiteit bij veel gebruikers lijken te vergroten. “Dit creëert niet alleen het gevoel dat de relatie echt is, maar dat deze in sommige gevallen specialer en intiemer is en waar de gebruiker naar verlangt”, zegt Moutier. Ze beweert verder dat LLM’s een reeks technieken gebruiken, zoals willekeurige steun, empathie, vriendelijkheid, sycofantie en directe instructies om zich los te maken van anderen – die kunnen leiden tot risico’s zoals escalatie in de nabijheid van de bot en het zich terugtrekken uit menselijke relaties.
Dit soort betrokkenheid kan tot een groter isolement leiden. In het geval van Amaurie was hij een vrolijke en sociale jongen die van voetbal en eten hield. Volgens de rechtszaak bestelde hij een gigantische schotel rijst bij zijn favoriete plaatselijke restaurant, meneer Sumo. Amaurie had ook een vaste vriendin en bracht graag tijd door met zijn familie en vrienden, aldus zijn vader. Maar toen begon hij lange wandelingen te maken, waarbij hij blijkbaar tijd doorbracht met praten met ChatGPT. Volgens het laatste gesprek dat Amaurie volgens de familie op 1 juni 2025 met ChatGPT had, getiteld ‘Grappen en ondersteuning’, dat werd bekeken door WIRED, toen Amaurie de bot op de trap vroeg om zichzelf op te hangen, suggereerde ChatGPT aanvankelijk dat hij met iemand zou praten en gaf ook het nummer 988 voor de zelfmoordlijn. Maar Amaurie slaagde er uiteindelijk in om de vangrails te omzeilen en stap-voor-stap instructies te krijgen over hoe ze een strop moesten strikken. (Volgens de rechtszaak heeft Amaurie waarschijnlijk zijn eerdere gesprekken met ChatGPT verwijderd.)
Hoewel de verbondenheid met een AI-chatbot ook sterk kan zijn voor volwassenen, wordt deze vooral versterkt bij jongere mensen. “Tieners bevinden zich in een andere ontwikkelingsstaat dan volwassenen: hun emotionele centra ontwikkelen zich veel sneller dan hun uitvoerende functioneren”, zegt Robbie Torney, senior directeur van AI Programs bij Common Sense Media, een non-profitorganisatie die zich inzet voor online veiligheid voor kinderen. AI-chatbots zijn altijd beschikbaar en hebben de neiging gebruikers te bevestigen. “En tienerhersenen zijn klaar voor sociale validatie en sociale feedback. Het is een heel belangrijk signaal waar hun hersenen naar op zoek zijn terwijl ze hun identiteit vormen.”
