Wanneer desinformatie-expert vroeg Tal Hagin Grok Om een bericht op X te verifiëren over Iraanse raketten die zogenaamd Tel Aviv hadden getroffen, faalde de AI-aangedreven chatbot van Elon Musk jammerlijk.
Grok herhaaldelijk verkeerd geïdentificeerd de locatie en datum voor de video, die oorspronkelijk was gedeeld op X door een Iraans staatsmediabedrijf zondag. Vervolgens probeerde de chatbot zijn punt te bewijzen een door AI gegenereerde afbeelding delen.
“Nu antwoordt Grok met AI-vernietiging”, schreef Hagin in reactie. “Gekookt, zeg ik je.”
De interactie vat mooi samen hoe losgekoppeld van de realiteit X is geworden sinds de VS en Israël op 28 februari hun aanval op Iran begonnen. Dat meldde WIRED destijdswerd het sociale-mediaplatform snel overspoeld met desinformatie door accounts die nep- en hergebruikte video’s deelden.
Naarmate het conflict voortduurde, is de overstroming alleen maar erger geworden. De afgelopen dagen is het verbeterd door AI-afbeeldingen en -video’s Grok heeft herhaaldelijk valse informatie verstrekt wanneer gevraagd wordt om beweringen op het platform te verifiëren. AI-beelden worden gedeeld door betaalde accounts met blauwe vinkjes en Iraanse functionarissen die overdreven schade proberen in beeld te brengen.
De toename van gemakkelijk toegankelijke AI-tools voor het genereren van beelden en video’s heeft geleid tot steeds geavanceerdere nep-inhoud. Op 2 maart deelden Iraanse functionarissen en staatsmedia bijvoorbeeld door AI gegenereerde video’s van een Hoogbouw in Bahrein staat in brand. De video’s en afbeeldingen lijken voor velen realistisch genoeg: Eén afbeelding van een Amerikaanse B-2 bommenwerper die door Iran werd neergeschoten terwijl Amerikaanse troepen werden vastgehouden, werd meer dan een miljoen keer bekeken voordat het werd verwijderd, terwijl afbeeldingen van de leden van Delta Force die door de Iraanse autoriteiten werden gevangengenomen, werden meer dan 5 miljoen keer bekeken voordat ze werden verwijderd.
Een deel van de AI-inhoud die op X wordt gepromoot, is minder realistisch. Eén video beweert bijvoorbeeld dat Iraanse troepen diep in een grot raketten vervaardigen. De video werd echter nog steeds door meerdere accounts gedeeld en is meer dan een miljoen keer bekeken.
AI wordt ook door de Iraanse regering gebruikt om openlijk antisemitische verhalen te verspreiden, waarbij accounts in een pro-regime propagandanetwerk op X door AI gegenereerde berichten delen waarin orthodoxe joden worden afgebeeld die Amerikaanse soldaten naar oorlog leiden of Amerikaanse sterfgevallen vieren, volgens onderzoekers van het Institute of Strategic Dialogue (ISD), die hun analyse met WIRED deelden.
Ook een aantal accounts in dit pro-regime-netwerk deelde een nepvideo waarop zogenaamd een rij jonge meisjes te zien was die langs president Donald Trump liepen, alleen gekleed in ondergoed. Het bericht werd volgens ISD meer dan 6,8 miljoen keer bekeken voordat het werd verwijderd, hoewel het nog steeds wordt gedeeld door andere accounts op X.
“Wat bijzonder uniek is aan deze oorlog is de dramatische toename van door AI gegenereerde inhoud die ik zelf ontkracht”, vertelt Hagin aan WIRED. “Dit komt waarschijnlijk doordat AI geavanceerd genoeg is om journalisten voor de gek te houden, en aan het gemak waarmee gebruikers deze AI-slordigheid kunnen creëren zonder enige gevolgen. Hoe langer we doorgaan zonder regelgeving tegen AI-misbruik, hoe meer schade er zal worden aangericht. Ik zie dat de verspreiding van op AI gebaseerd nepnieuws ons over de rand van een op feiten gebaseerde wereld duwt, tenzij we nu verandering doorvoeren.”
Toen de stroom van door AI gegenereerde vervalsingen vorige week het platform begon over te nemen, kondigde X aan dat het accounts met een blauw vinkje tijdelijk zou demonetiseren als ze door AI gegenereerde video’s van gewapende conflicten zonder label zouden posten. X heeft niet gereageerd op een verzoek om commentaar over het aantal accounts dat het sinds de invoering van de maatregel had gedemonetiseerd. Tot voor kort een aantal Iraanse functionarissen leken X te betalen voor zijn premium service, die hun accounts van blauwe vinkjes voorzag, de betrokkenheid vergrootte en de mogelijkheid creëerde om geld te verdienen voor hun berichten.
