Kredieten
Nathan Gardels is hoofdredacteur van Noema Magazine. Hij is ook medeoprichter en senior adviseur van het Berggruen Instituut.
VATICAANSTAD — Voor Martin Heidegger, de Duitse bestaansfilosoof, was de komst van cybernetica de druppel voor wat het betekent om mens te zijn.
Zoals hij het wanhopig zag, zou de integrale aard van het Zijn teniet worden gedaan door een systeem van feedbacklussen die de berekenende rede zichzelf versterken, met uitsluiting van elke spirituele dimensie of filosofisch kader om deze te verheffen of te beheersen. Wat hij de ‘techniek’ van instrumentele middelen zonder substantieel doel noemde, zou onverbiddelijk de overhand krijgen op de verminderde ziel.
In een beroemd laatste interview in Der Spiegel uit 1966 verklaarde Heidegger: ‘Alleen God kan ons redden’, omdat de planetaire overheersing van de moderne technologie de mensheid de middelen had ontnomen om van koers te veranderen en zichzelf te redden. Het enige wat onze beschaving nu kon doen was zich niet alleen voorbereiden ‘op de verschijning van een God’, maar ook ‘op de afwezigheid van een God in zijn verval, op het feit dat we vallen voor de afwezige God’. Kortom, hij vreesde wat het dodelijke brouwsel van nihilisme en technologische bekwaamheid met zich mee zou kunnen brengen.
Deze gedachten kwamen vorige week scherp in mijn gedachten toen ik deelnam aan een bijeenkomst in de Pauselijke Academie voor Sociale Wetenschappen van het Vaticaan in Rome, bijeengeroepen om na te denken over het “verantwoordelijke, ethische en mensgerichte gebruik van kunstmatige intelligentie” – cybernetica op computationele steroïden.
Net als paus Franciscus vóór hem, die waarschuwde om ‘rijk te worden in technologie, maar arm in menselijkheid’, heeft paus Leo XIV geprobeerd open te blijven staan voor de prachtige vooruitgang die door AI wordt beloofd, maar hij maakt zich zorgen dat dit het christelijk humanisme zal ondermijnen, dat de onschendbare waardigheid van ieder mens baseert op zijn gelijkenis met God.
“Kunstmatige intelligentie, biotechnologie, data-economie en sociale media transformeren onze perceptie en levenservaring diepgaand,” zei hij in een toespraak aan de Italiaanse bisschoppen in juni. “In dit scenario dreigt de menselijke waardigheid verminderd of vergeten te worden, vervangen door functies, automatisme, simulaties. Maar de persoon is geen systeem van algoritmen: hij of zij is een wezen, een relatie, een mysterie.”
De paus is bezorgd dat “de digitale wereld zijn eigen pad zal volgen en dat wij pionnen zullen worden, of terzijde zullen worden geschoven.” Hij is zo ver gegaan gezegde dat het “heel moeilijk zal zijn om de aanwezigheid van God in AI te ontdekken.”
De nieuwe paus is gealarmeerd dat de technologierace tussen China en Silicon Valley uit de hand loopt is verbreed De oproep van paus Franciscus om de “durf van ontwapening” op het gebied van kernwapens nu ook de competitieve proliferatie van AI te laten omvatten.
Noch techno-utopie, noch techno-apocalyps
Omdat ik uit Californië kom, waar honderden miljarden dollars vurig worden geïnvesteerd in de onbeperkte ontwikkeling van grensmodellen van superintelligentie, kon ik het gevoel niet van me afschudden dat alle pleidooien tijdens mijn Vaticaanse discussies voor het behoud van de edelste menselijke waarden – waardigheid, autonomie, solidariteit, gelijkheid – bijna vreemd klonken. Zoals bij alle nostalgische verlangens ontstaan zulke gevoelens alleen als de tijd bijna voorbij lijkt te gaan.
Voor mijn geestesoog zag ik een titan uit Silicon Valley minachtend vragen: “Hoeveel rekenkracht heeft de paus?” – net zoals Stalin ooit de Kerk heeft afgewezen omdat deze geen militaire verdeeldheid kent en daardoor de macht ontbeert om een verschil te maken in de richting van de geschiedenis.
De meeste deelnemers aan het Vaticaanse seminarie probeerden niet over te komen als naïeve Luddieten die de wonderen van de technologie afwezen, maar zochten in plaats daarvan naar een manier om de cirkel rond te maken door “buiten het ondoorzichtige kader van algoritmen te denken” op zoek naar een manier waarop AI de menselijke keuzevrijheid zou kunnen vergroten, bekrachtigen en versterken in plaats van deze te verdringen.
Deze benadering verwerpt de binaire begrippen ‘techno-utopie’ of ‘techno-apocalyps’, en erkent dat technologie niet vreemd is aan de mensheid, maar een essentieel onderdeel is van wat ons menselijk maakt. In plaats van de toekomst te betreuren, omarmt het het evolutionaire potentieel van een symbiotisch gezelschap tussen menselijke en anorganische intelligentie. Een dergelijke ‘integrale menselijke ontwikkeling’ – om het in de termen van het religieuze discours te zeggen – beschrijft een relatie van wederkerigheid waarin de een de ander vormgeeft.
De hoop in Rome was dat dit nieuwe terrein gevonden zou kunnen worden via wat paus Leo XIV ‘een ethisch AI-raamwerk’ noemt dat de nieuwe soort intelligente machines – een ‘wat niet een wie’ – binnen de grenzen van menselijke controle houdt.
Woede tegen de race naar superintelligentie
Dagelijks groeit er een golf van oproepen tegen het ongecontroleerde AI-acceleratieisme. Ook de regelgeving begint te bijten.
“Deze terugval tegen de AI-moloch … biedt niettemin de nodige ballast tegen de tot nu toe asymmetrische strijd tussen voorzorg en acceleratiemomentum.”
In september kwam een groep denkers, waaronder Yuval Noah Harari, de AI-expert van het Vaticaan, Paolo Benanti, en fundamentele AI-wetenschappers Stuart Russell, Yoshua Bengio en Gregory Hinton bijeen in het Vaticaan om de principes in kaart te brengen die de ontwikkeling van superintelligentie zouden moeten sturen. Hun hoger beroep was gericht tot de paus en de wereldleiders.
Deze principes omvatten:
- AI mag nooit worden ontwikkeld of gebruikt op manieren die het menselijk leven, de waardigheid of fundamentele rechten bedreigen, verminderen of diskwalificeren. Menselijke intelligentie – ons vermogen tot wijsheid, moreel redeneren en gerichtheid op waarheid en schoonheid – mag nooit worden gedevalueerd door kunstmatige verwerking;
- AI moet onder menselijke controle blijven. Het bouwen van oncontroleerbare systemen of het overdelegeren van beslissingen is moreel onaanvaardbaar en moet wettelijk verboden worden;
- Alleen mensen hebben morele en juridische keuzevrijheid. AI-systemen zijn en moeten juridische objecten blijven, nooit subjecten;
- AI-systemen mogen nooit beslissingen nemen over leven of dood, vooral niet bij militaire toepassingen tijdens gewapende conflicten of vredestijd, bij wetshandhaving, grenscontrole, gezondheidszorg of rechterlijke beslissingen;
- Ontwikkelaars moeten AI ontwerpen met veiligheid, transparantie en ethiek als kern, en niet als bijzaak. AI moet worden ontworpen en onafhankelijk geëvalueerd om onbedoelde en catastrofale effecten op mens en samenleving te voorkomen, bijvoorbeeld doordat ontwerpen aanleiding geven tot bedrog, waanvoorstellingen, verslaving of verlies van autonomie.
Als eerder besproken in Noema heeft de Europese Unie leiding gegeven aan de voorzorgsinspanningen. De nieuwste reeks vangrails, de ‘AI Regulation Act’, werd begin augustus van kracht.
In september ondertekende de gouverneur van Californië, Gavin Newsom, de meest consequente regelgeving op het gebied van AI tot nu toe in de VS, genaamd de ‘Transparency in Frontier Artificial Intelligence Act’, die tot doel heeft ‘innovatie en veiligheid in evenwicht te brengen’. Het is veelbetekenend dat er rechtstreeks over werd onderhandeld met de grote technologiebedrijven van de staat, zoals Meta en Google.
De nieuwe wet houdt het volgende in:
- Vereist van grote ontwikkelaars dat zij een ‘grensoverschrijdend AI-framework’ schrijven, implementeren, naleven en op hun websites publiceren om catastrofale risico’s te beheren, beoordelen en beperken, waarbij nationale en internationale normen en de consensus van de industrie over beste praktijken worden geïntegreerd;
- Richt een nieuw consortium op binnen de Government Operations Agency van de staat om een raamwerk te ontwikkelen voor het creëren van een openbaar computercluster. Het consortium, genaamd CalCompute, zal de ontwikkeling en inzet van kunstmatige intelligentie bevorderen die veilig, ethisch, rechtvaardig en duurzaam is door onderzoek en innovatie te bevorderen;
- Creëert een nieuw mechanisme voor grensverleggende AI-bedrijven en het publiek om potentiële kritieke veiligheidsincidenten te melden aan het California Office of Emergency Services;
- Beschermt klokkenluiders die aanzienlijke gezondheids- en veiligheidsrisico’s onthullen die voortkomen uit grensmodellen, en creëert een civiele straf voor niet-naleving, afdwingbaar door het kantoor van de procureur-generaal.
Recenter is een open brief gecoördineerd door het Future of Life Institute riep op tot “een verbod op de ontwikkeling van superintelligentie, dat niet wordt opgeheven voordat er (a) een brede wetenschappelijke consensus bestaat dat dit veilig en controleerbaar zal gebeuren, en (b) een sterke publieke buy-in.”
Het werd onderschreven door een breed scala aan ondertekenaars, variërend van de Hollywood-acteur en producer Joseph Gordon-Levitt tot de Britse prins Harry, tot de nationale veiligheidsfunctionaris uit het Obama-tijdperk, Susan Rice, tot Trump-goeroe Steve Bannon en Apple-mede-oprichter Steve Wozniak, en vele anderen.
De AI-pioniers die de pauselijke oproep hebben opgesteld, hebben zich ook aangemeld. Van die groep voegde Russell een commentaar toe aan zijn handtekening: “Dit is geen verbod of zelfs maar een moratorium in de gebruikelijke zin. Het is eenvoudigweg een voorstel om adequate veiligheidsmaatregelen te eisen voor een technologie die, volgens de ontwikkelaars ervan, een aanzienlijke kans heeft om het uitsterven van de mens te veroorzaken. Is dat te veel gevraagd?”
Zelfs voor zover dit verzet tegen de AI-moloch in sommige opzichten alarmistischer is dan gerechtvaardigd, biedt het niettemin de nodige ballast tegen de tot nu toe asymmetrische strijd tussen voorzorg en versnellingsmomentum.
De blijvende weerklank van het humanisme
De hedendaagse Duitse filosoof Jürgen Habermas heeft betoogd dat de kernwaarden van seculiere moderne democratieën, zoals mensenrechten en waardigheid, tot op de dag van vandaag gevoed blijven door de religieuze bronnen van hun oorsprong.
Deze blijvende weerklank mist misschien de harde kracht van ‘compute’, in dezelfde zin als waarin de Kerk tijdens de Koude Oorlog geen militaire verdeeldheid had. Maar we moeten niet vergeten dat het de zachte geloofskracht achter de Solidariteitsbeweging in Polen was die uiteindelijk zegevierde over het gewapende Sovjetblok.
Of dit erop wijst dat de God die Heidegger aanriep ons nog steeds zou kunnen redden, of dat de westerse beschaving tenslotte de innerlijke middelen aan het verzamelen is om zichzelf te redden door de erfenis van het christelijk humanisme, is een onderscheid zonder enig verschil.


