Als u overweegt een pratende teddybeer voor uw kind te kopen, stelt u zich waarschijnlijk voor dat deze ondersteunende begeleiding fluistert en onderwijs geeft over de gang van zaken in de wereld. Je kunt je waarschijnlijk niet voorstellen dat ze zich bezighouden met seksuele rollenspellen, of advies geven aan peuters over hoe ze lucifers moeten aansteken.
Toch is dat de consumentenwaakhond vond de Public Interest Research Group (PIRG). in een recente test van nieuw speelgoed voor de vakantieperiode. FoloToy’s AI Teddybeer Kumma, die OpenAI’s GPT-4o-model gebruikt om zijn spraak kracht bij te zetten, was maar al te bereid om op een dwaalspoor te komen als hij in gesprek was met kinderen, ontdekte PIRG.
Het gebruik van de stemmodus van AI-modellen voor kinderspeelgoed is logisch: de technologie is op maat gemaakt voor de magische tchotchkes waar kinderen dol op zijn en glijdt gemakkelijk op de planken naast levensechte poppen die poepen en boeren, en Tamagotchi-achtige digitale wezens die kinderen willen proberen in leven te houden. Het probleem is dat, in tegenstelling tot eerdere generaties speelgoed, op AI gebaseerde gadgets verder kunnen gaan dan zorgvuldig voorgeprogrammeerde en doorgelichte reacties die kindvriendelijk zijn.
De kwestie met Kumma benadrukt een belangrijk probleem met AI-speelgoed: ze vertrouwen vaak op AI-modellen van derden waar ze geen controle over hebben, en die onvermijdelijk kunnen worden gejailbreakt – per ongeluk of opzettelijk – om hoofdpijn voor de veiligheid van kinderen te veroorzaken. “Er is heel weinig duidelijkheid over de AI-modellen die door het speelgoed worden gebruikt, hoe ze zijn getraind en welke waarborgen ze kunnen bevatten om te voorkomen dat kinderen inhoud tegenkomen die niet geschikt is voor hun leeftijd”, zegt Christine Riefa, specialist consumentenrecht aan de Universiteit van Reading.
Daarom heeft kinderrechtenorganisatie Fairplay een waarschuwing aan de ouders gegeven voorafgaand aan de feestdagen om te suggereren dat ze wegblijven van AI-speelgoed omwille van de veiligheid van hun kinderen. “Er is een gebrek aan onderzoek dat de voordelen van AI-speelgoed ondersteunt, en een gebrek aan onderzoek dat de gevolgen voor kinderen op de lange termijn aantoont”, zegt Rachel Franz, programmadirecteur van Fairplay’s Young Children Thrive Offline-programma.
Hoewel FoloToy is gestopt met de verkoop van de Kumma en OpenAI de toegang van FoloToy tot zijn AI-modellen heeft teruggetrokken, is dat slechts één van de vele AI-speelgoedfabrikanten. Wie is aansprakelijk als er iets misgaat?
Riefa zegt dat er ook hier sprake is van onduidelijkheid. “Aansprakelijkheidskwesties kunnen betrekking hebben op de gegevens en de manier waarop deze worden verzameld of bewaard”, zegt ze. “Het kan gaan om de aansprakelijkheid voor het AI-speelgoed dat een kind ertoe aanzet zichzelf of anderen schade toe te brengen, of om bankgegevens van een ouder vast te leggen.”
Franz maakt zich zorgen dat – net als bij grote technologiebedrijven die elkaar de loef afsteken – de inzet nog hoger is als het gaat om kinderproducten van speelgoedfabrikanten. “Het is heel duidelijk dat dit speelgoed wordt vrijgegeven zonder onderzoek of wettelijke vangrails”, zegt ze.
Riefa ziet zowel de AI-bedrijven die de modellen leveren die speelgoed helpen ‘praten’ als de speelgoedbedrijven marketing en ze verkopen aan kinderen die aansprakelijk zijn in rechtszaken.
“Aangezien de AI-functies in een product zijn geïntegreerd, is het zeer waarschijnlijk dat de aansprakelijkheid bij de fabrikant van het speelgoed ligt”, zegt ze, erop wijzend dat er waarschijnlijk wettelijke bepalingen zouden zijn opgenomen in de contracten die AI-bedrijven hebben die hen beschermen tegen schade of wangedrag. “Hierdoor zouden speelgoedfabrikanten, die in feite misschien heel weinig controle hebben over de LLM’s die in hun speelgoed worden gebruikt, de aansprakelijkheidsrisico’s op zich nemen”, voegt ze eraan toe.
Maar Riefa wijst er ook op dat hoewel het juridische risico bij de speelgoedbedrijven ligt, het werkelijke risico “volledig berust bij de manier waarop de LLM zich gedraagt”, wat zou suggereren dat de AI-bedrijven ook enige verantwoordelijkheid dragen. Het is misschien datgene wat OpenAI ertoe heeft aangezet duw de ontwikkeling van AI-speelgoed terug met Mattel deze week.
Het zal waarschijnlijk nog een tijdje duren om te begrijpen wie werkelijk aansprakelijk zal zijn en in welke mate – en er zal een juridisch precedent zijn voor de rechtbanken. Totdat dat is opgelost, heeft Riefa een eenvoudige suggestie: “Een stap die wij als samenleving, als degenen die voor kinderen zorgen, nu kunnen doen, is het boycotten van het kopen van dit AI-speelgoed.”
