Als je wilt dat een door jou gebouwde app kan worden gedownload via de Apple App Store of Google Play Store, moet deze aan een hele reeks criteria voldoen, waaronder veiligheidsnormen.
Maar een nieuw rapport beweert woensdag dat Apple en Google hun eigen regels hebben overtreden door ‘nudify’-apps te promoten die verboden zijn in hun app store-beleid.
Het Tech Transparency Project, onderdeel van een non-profit tech-waakhond, onthulde in januari voor het eerst dat de appstores van Apple en Google meer dan 100 naakt- of uitkleed-apps hadden. Dit zijn apps met als enig doel afbeeldingen van mensen, meestal vrouwen, te maken en deze te bewerken zodat ze lijken op die persoon zonder kleding, waardoor zogenaamde niet-consensuele intieme beelden worden gecreëerd. Veel van deze apps gebruiken generatieve AI om deepfakes te creëren.
Apple heeft destijds een aantal van de verboden apps verwijderd. Maar velen zijn er nog steeds, zoals blijkt uit een volgend onderzoek.
In april ontdekte TTP dat Apple en Google gebruikers nog steeds toestonden te zoeken naar een aantal verontrustende trefwoorden, waaronder ‘nudify’, ‘uitkleden’ en ‘deepnude’. Na een diepe duik in de top 10 van apps in beide app-winkels, ontdekte TTP dat 40% van de apps zichzelf adverteerde met de mogelijkheid om “vrouwen naakt of schaars gekleed weer te geven”, aldus het rapport.
Uit het nieuwe rapport bleek ook dat Google en Apple dergelijke apps daadwerkelijk in hun winkels promootten, waardoor hun zichtbaarheid werd vergroot, waarbij met name Google “een carrousel van advertenties creëerde voor enkele van de meest seksueel expliciete apps die in het onderzoek zijn aangetroffen.”
Apple en Google hebben beide een taal in hun beleid die apps met “openlijk seksueel of pornografisch materiaal” verbiedt (Appel) en “seksueel suggestieve poses waarin het onderwerp naakt, wazig of minimaal gekleed is” (Googlen). En ze hebben dit beleid in het verleden allebei afgedwongen, vooral door achter porno-apps aan gaan.
Maar Apple en Google verdienen geld aan app-ontwikkelaars door reclame te maken en een deel van betaalde app-abonnementen af te nemen. Analysebureau AppMagic ontdekte dat deze ‘nudify’-apps 483 miljoen keer werden gedownload en meer dan $ 122 miljoen aan inkomsten opleverden.
“Deze inkomstenstroom kan de reden zijn dat de twee bedrijven minder waakzaam zijn geweest als het gaat om het nudificeren van apps die hun beleid schenden”, schrijft TTP.
Google vertelde CNET dat Google Play geen apps toestaat die seksuele inhoud bevatten, en dat veel van de apps waarnaar in het rapport wordt verwezen, zijn opgeschort wegens schending van het beleid.
Apple vertelde CNET dat het 15 van de in het rapport gemarkeerde apps heeft verwijderd en contact heeft opgenomen met zes andere app-ontwikkelaars om hen te laten weten dat ze de problemen moeten aanpakken, anders lopen ze het risico uit de winkel te worden verwijderd. Het blokkeerde ook verschillende aanvullende zoektermen die door TTP werden gemarkeerd.
Grafisch seksuele inhoud zonder wederzijds goedvinden is een groeiend probleem, deels dankzij AI. We zagen begin dit jaar in verrassende helderheid hoe apps met AI kunnen worden gebruikt om deze illegale en beledigende inhoud te maken, toen Grok-gebruikers 1,4 miljoen geseksualiseerde deepfakes gedurende een periode van negen dagen.
Sommige Amerikaanse senatoren destijds riep Apple en Google op om Grok uit hun appstores te verwijderen, maar geen van beiden verwijderde het.
Dat hebben we deze week geleerd Apple heeft persoonlijk contact opgenomen met Grok om zijn zorgen te uiten over zijn misbruikende AI-mogelijkheden en dreigde deze te verwijderen. Grok is nog steeds verkrijgbaar in de appstores van Apple en Google en is naar verluidt nog steeds beschikbaar in staat om beledigende AI-seksuele beelden te creërenondanks het bedrijf gezegde anders.
