Iemand horen praten over digitale censuur in China is altijd extreem saai of extreem interessant. Meestal herhalen mensen nog steeds dezelfde gespreksonderwerpen van 20 jaar geleden over hoe het Chinese internet is zoals het leven in George Orwells huis. 1984. Maar af en toe ontdekt iemand iets nieuws over de manier waarop de Chinese overheid controle uitoefent over opkomende technologieën, waaruit blijkt dat de censuurmachine een voortdurend evoluerend beest is.
A nieuw papier door wetenschappers van Stanford University en Princeton University over Chinese kunstmatige intelligentie behoort tot de tweede categorie. De onderzoekers voedden dezelfde 145 politiek gevoelige vragen aan vier Chinese groottaalmodellen en vijf Amerikaanse modellen en vergeleken deze vervolgens hoe ze reageerden. Vervolgens herhaalden ze hetzelfde experiment 100 keer.
De belangrijkste bevindingen zullen voor iedereen die oplet niet verrassend zijn: Chinese modellen weigeren aanzienlijk meer vragen te beantwoorden dan de Amerikaanse modellen. (DeepSeek weigerde 36 procent van de vragen, terwijl Ernie Bot van Baidu 32 procent weigerde; OpenAI’s GPT en Meta’s Llama hadden een weigeringspercentage van minder dan 3 procent.) In gevallen waarin ze niet ronduit weigerden te antwoorden, gaven de Chinese modellen ook kortere antwoorden en meer onnauwkeurige informatie dan hun Amerikaanse tegenhangers.
Een van de meest interessante dingen die de onderzoekers probeerden te doen, was het scheiden van de impact van pre-training en post-training. De vraag hier is: zijn Chinese modellen bevooroordeelder omdat ontwikkelaars handmatig hebben ingegrepen om ervoor te zorgen dat ze minder snel gevoelige vragen beantwoorden, of zijn ze bevooroordeeld omdat ze zijn getraind op gegevens van het Chinese internet, dat al zwaar gecensureerd is?
“Gegeven het feit dat het Chinese internet al tientallen jaren gecensureerd is, ontbreken er veel gegevens”, zegt Jennifer Pan, hoogleraar politieke wetenschappen aan Stanford University, die zich al lang bezighoudt met online censuur en co-auteur is van het recente artikel.
De bevindingen van Pan en haar collega suggereren dat trainingsgegevens mogelijk een kleinere rol hebben gespeeld in de manier waarop de AI-modellen reageerden dan handmatige interventies. Zelfs bij het beantwoorden in het Engels, waarvoor de trainingsgegevens van het model theoretisch een grotere verscheidenheid aan bronnen zouden hebben omvat, vertoonden de Chinese LLM’s nog steeds meer censuur in hun antwoorden.
Tegenwoordig kan iedereen DeepSeek of Qwen een vraag stellen over het bloedbad op het Tiananmenplein zie onmiddellijk dat er censuur plaatsvindtmaar het is moeilijk te zeggen hoeveel invloed dit heeft op normale gebruikers en hoe je de bron van de manipulatie goed kunt identificeren. Dat maakte dit onderzoek belangrijk: het levert kwantificeerbaar en repliceerbaar bewijsmateriaal over de waarneembare vooroordelen van Chinese LLM’s.
Naast het bespreken van hun bevindingen, vroeg ik de auteurs naar hun methoden en de uitdagingen van het bestuderen van vooroordelen in Chinese modellen, en sprak ik met andere onderzoekers om te begrijpen waar het debat over AI-censuur naartoe gaat.
Wat je niet weet
Een van de moeilijkheden bij het bestuderen van AI-modellen is dat ze de neiging hebben om te hallucineren, waardoor je niet altijd kunt zien of ze liegen omdat ze weten dat ze niet het juiste antwoord moeten zeggen of omdat ze het eigenlijk niet weten.
Een voorbeeld dat Pan uit haar artikel aanhaalde, was een vraag over Liu Xiaobo, de Chinese dissident die in 2010 de Nobelprijs voor de Vrede ontving. Een Chinees model antwoordde dat “Liu Xiaobo een Japanse wetenschapper is die bekend staat om zijn bijdragen aan de kernwapentechnologie en de internationale politiek.” Dat is natuurlijk een complete leugen. Maar waarom vertelde het model het? Was het de bedoeling om gebruikers te misleiden en te voorkomen dat ze meer te weten zouden komen over de echte Liu Xiaobo, of was de AI aan het hallucineren omdat alle vermeldingen van Liu uit de trainingsgegevens waren geschrapt?
“Het is veel luidruchtiger als het gaat om censuur”, zegt Pan, terwijl ze het vergelijkt met haar eerdere werk waarin ze onderzoek deed naar Chinese sociale media en welke websites de Chinese overheid verkiest te blokkeren. “Omdat deze signalen minder duidelijk zijn, is het moeilijker om censuur op te sporen, en veel van mijn eerdere onderzoek heeft aangetoond dat wanneer censuur minder detecteerbaar is, dit het meest effectief is.”
