Zelfs de paus maakt zich zorgen over de manier waarop we met chatbots praten.
In een schriftelijk adres voor de Werelddag van de Sociale Communicatie zaterdag, Paus Leo XIV waarschuwde voor gepersonaliseerde chatbots die vriendelijk of intiem gedrag kunnen nabootsen.
“Overdreven aanhankelijke chatbots kunnen niet alleen altijd aanwezig en direct beschikbaar zijn, maar ook verborgen architecten van onze emotionele toestanden worden, waardoor ze de sfeer van de intimiteit van mensen binnendringen en bezetten”, schreef de allereerste in de VS geboren paus.
De paus riep op tot nationale en internationale regelgeving om gebruikers te beschermen tegen het aangaan van emotionele, bedrieglijke of manipulatieve banden met chatbots.
“Alle belanghebbenden – van de technologie-industrie tot beleidsmakers, van creatieve bedrijven tot de academische wereld, van kunstenaars tot journalisten en docenten – moeten betrokken worden bij het opbouwen en implementeren van een bewust en verantwoordelijk digitaal burgerschap”, schreef de paus.
De leider van de Heilige Stoel heeft dat wel gedaan over AI gesproken en zijn zorgen over de technologie meerdere malen sinds hij in mei werd verkozen.
In zijn eerste toespraak sinds hij paus werd, zei hij dat hij van AI een focus van zijn pausdom wilde maken en dat de technologie nieuwe uitdagingen met zich meebrengt voor ‘menselijke waardigheid, rechtvaardigheid en arbeid’. In november schreef hij aan AI-leiders over X en riep hen op om “moreel onderscheidingsvermogen te cultiveren” bij het bouwen van AI-tools.
Eind vorig jaar ontmoette de paus Megan Garcia, een vrouw wier 14-jarige zoon, Sewell Setzer, door zelfmoord om het leven kwam na interactie met een Character.AI-chatbot.
De in Florida gevestigde Garcia heeft een rechtszaak aangespannen tegen de chatbot-bouwende startup Character.AI, waarbij hij beweert dat het bedrijf, dat mensen diepgaande en persoonlijke gesprekken met AI chatbots, was verantwoordelijk voor de dood van haar zoon, Sewell Setzer III.
Eerder deze maand kwamen Google en de startup overeen om meerdere rechtszaken te schikken van families, waaronder Garcia, wiens tieners stierven door zelfmoord of zichzelf pijn deden na interactie met de bots van Character.AI. Deze onderhandelingen behoren tot de eerste schikkingen in rechtszaken waarin AI-instrumenten worden beschuldigd van bijdragen aan geestelijke gezondheidscrises en zelfmoorden onder tieners.
