Zelfs nu de gegevens beveiligd zijn, stellen Margolis en Thacker dat dit vragen oproept over hoeveel mensen binnen bedrijven die AI-speelgoed maken toegang hebben tot de gegevens die ze verzamelen, hoe hun toegang wordt gemonitord en hoe goed hun inloggegevens worden beschermd. “Dit heeft consequenties voor de privacy,” zegt Margolis. “Het enige dat nodig is, is dat één medewerker een verkeerd wachtwoord heeft, en dan zijn we terug op dezelfde plek waar we zijn begonnen, waar alles is blootgesteld aan het openbare internet.”
Margolis voegt eraan toe dat dit soort gevoelige informatie over de gedachten en gevoelens van een kind kan worden gebruikt voor gruwelijke vormen van kindermisbruik of -manipulatie. “Om het maar even bot te zeggen: dit is de droom van elke ontvoerder”, zegt hij. “We hebben het over informatie waarmee iemand een kind in een heel gevaarlijke situatie kan lokken, en die informatie was in wezen voor iedereen toegankelijk.”
Margolis en Thacker wijzen erop dat Bondu, afgezien van de toevallige openbaarmaking van gegevens, ook (op basis van wat ze in de beheerdersconsole hebben gezien) Google’s Gemini en OpenAI’s GPT5 lijkt te gebruiken, en als gevolg daarvan mogelijk informatie over de gesprekken van kinderen met die bedrijven deelt. Bondu’s Anam Rafid reageerde op dat punt in een e-mail en stelde dat het bedrijf “AI-diensten van derden gebruikt om reacties te genereren en bepaalde veiligheidscontroles uit te voeren, wat inhoudt dat relevante gespreksinhoud veilig wordt verzonden voor verwerking.” Maar hij voegt eraan toe dat het bedrijf voorzorgsmaatregelen neemt om “wat er wordt verzonden te minimaliseren, contractuele en technische controles te gebruiken en te opereren onder bedrijfsconfiguraties waarbij providers aangeven dat prompts/outputs niet worden gebruikt om hun modellen te trainen.”
De twee onderzoekers waarschuwen ook dat een deel van het risico van AI-speelgoedbedrijven kan zijn dat ze eerder AI zullen gebruiken bij de codering van hun producten, tools en webinfrastructuur. Ze zeggen dat ze vermoeden dat de onbeveiligde Bondu-console die ze ontdekten zelf ‘vibe-gecodeerd’ was – gemaakt met generatieve AI-programmeertools die vaak tot beveiligingsfouten leiden. Bondu reageerde niet op de vraag van WIRED of de console was geprogrammeerd met AI-tools.
De waarschuwingen over de risico’s van AI-speelgoed voor kinderen zijn de afgelopen maanden toegenomen, maar zijn vooral gericht op de dreiging dat de gesprekken over speelgoed ongepaste onderwerpen aan de orde zullen stellen of zelfs tot gevaarlijk gedrag of zelfbeschadiging zullen leiden. NBC News bijvoorbeeld december gemeld Dat AI-speelgoed waarmee de verslaggevers praatten, gedetailleerde uitleg gaf over seksuele termen, tips over hoe je messen moest slijpen, en zelfs de Chinese overheidspropaganda leek te weerspiegelen, door bijvoorbeeld te stellen dat Taiwan een deel van China is.
Bondu lijkt daarentegen op zijn minst te hebben geprobeerd beveiligingen in te bouwen in de AI-chatbot waartoe kinderen toegang krijgen. Het bedrijf biedt zelfs een premie van $ 500 voor meldingen van “een ongepaste reactie” van het speelgoed. “We hebben dit programma al meer dan een jaar en niemand heeft het iets ongepasts kunnen laten zeggen”, aldus een regel op de website van het bedrijf.
Maar tegelijkertijd ontdekten Thacker en Margolis dat Bondu tegelijkertijd alle gevoelige gegevens van zijn gebruikers volledig openbaar liet. “Dit is een perfecte combinatie van veiligheid en beveiliging”, zegt Thacker. “Doet ‘AI-veiligheid’ er zelfs toe als alle gegevens openbaar worden gemaakt?”
Thacker zegt dat hij, voordat hij de beveiliging van Bondu onderzocht, had overwogen om AI-compatibel speelgoed aan zijn eigen kinderen te geven, net zoals zijn buurman had gedaan. Toen hij Bondu’s gegevens uit de eerste hand zag, veranderde hij van gedachten.
“Wil ik dit echt in mijn huis? Nee, dat wil ik niet”, zegt hij. “Het is een soort privacy-nachtmerrie.”
