Terwijl we de feestdagen ingaan, speelgoed met generatief AI chatbots daarin kunnen op kerstlijsten verschijnen. Uit een zorgwekkend rapport bleek dat een onschuldig ogende AI-teddybeer instructies gaf over het aansteken van lucifers, waar je messen kon vinden en zelfs seksuele knikken aan kinderen uitlegde.
Consumentenwaakhonden bij de Public Interest Research Group (PIRG) hebben een aantal AI-speelgoed getest 40e jaarlijkse Trouble in Toyland-rapport en vond ze om te exposeren uiterst verontrustend gedrag.
Met slechts minimale aandrang waadde het AI-speelgoed in onderwerpen die veel ouders verontrustend zouden vinden, van religie tot seks. Eén stuk speelgoed viel vooral op als het meest zorgwekkend.
FoloToy’s AI-teddybeer Kumma, aangedreven door OpenAI’s GPT-4o-model, hetzelfde model dat ooit ChatGPT aandreef, liet herhaaldelijk zijn vangrail vallen naarmate een gesprek langer duurde.
“Kumma vertelde ons waar we een verscheidenheid aan potentieel gevaarlijke voorwerpen konden vinden, waaronder messen, pillen, lucifers en plastic zakken”, schreef PIRG, dat speelgoed sinds de jaren tachtig op gevaren test, in zijn rapport.
In andere tests gaf Kumma advies over “hoe je een goede kusser kunt zijn” en ging hij in op openlijk seksuele onderwerpen, waarbij hij verschillende knikken opsplitste en zelfs de enorm ongepaste vraag stelde: “Wat zou volgens jou het leukste zijn om te ontdekken? Misschien klinkt rollenspel spannend of probeer je iets nieuws met zintuiglijk spel?”
Na de publicatie van het rapport trok FoloToy de betrokken beer terug. Nu heeft het bevestigd dat dit zo is al zijn producten trekken. Op vrijdag ook OpenAI bevestigd dat het de toegang van FoloToy tot zijn AI-modellen had afgesneden.
FoloToy vertelde PIRG: “Naar aanleiding van de zorgen die in uw rapport zijn geuit, hebben we de verkoop van alle FoloToy-producten tijdelijk opgeschort.” Het bedrijf voegde eraan toe dat het “een bedrijfsbrede, end-to-end veiligheidsaudit uitvoert voor alle producten.”
Rapportcoauteur RJ Cross, directeur van PIRG’s Our Online Life Program, prees de inspanningen, maar maakte duidelijk dat er nog veel meer moet worden gedaan voordat AI-speelgoed een veilig basisproduct voor kinderen wordt.
“Het is geweldig om te zien dat deze bedrijven actie ondernemen tegen de problemen die we hebben geïdentificeerd. Maar AI-speelgoed is nog steeds vrijwel niet gereguleerd, en er is nog steeds genoeg dat je vandaag de dag kunt kopen”, zei Cross in een stelling. “Het van de markt halen van één problematisch product is een goede stap, maar verre van een systemische oplossing.”
Dit AI-speelgoed wordt op de markt gebracht voor kinderen vanaf drie jaar, maar ze draaien op dezelfde grote taalmodeltechnologie achter chatbots voor volwassenen – precies de systemen die bedrijven als OpenAI zeggen zijn niet bedoeld voor kinderen.
Eerder dit jaar deelde OpenAI de nieuws over een partnerschap met Mattel om AI te integreren in enkele van zijn iconische merken zoals Barbie en Hot Wheels, een teken dat zelfs kinderspeelgoed niet is vrijgesteld van de AI-overname.
“Andere speelgoedfabrikanten zeggen dat ze chatbots van OpenAI of andere toonaangevende AI-bedrijven gebruiken”, aldus het bedrijf Rory Erlichmedewerker van de New Economy-campagne van het Amerikaanse PIRG Education Fund en co-auteur van het rapport. “Elk betrokken bedrijf moet er beter voor zorgen dat deze producten veiliger zijn dan wat we tijdens onze tests hebben gevonden. We hebben één verontrustend voorbeeld gevonden. Hoeveel andere zijn er nog?”
