Zelfs de slimste kunstmatige intelligentie modellen zijn in wezen copycats. Ze leren door voorbeelden van menselijk werk te consumeren of door te proberen problemen op te lossen die hen door menselijke instructeurs zijn voorgelegd.
Maar misschien kan AI op een meer menselijke manier leren – door interessante vragen te bedenken die ze zichzelf kunnen stellen en te proberen het juiste antwoord te vinden. Een project van Tsinghua Universiteitde Peking Instituut voor Algemene Kunstmatige Intelligentie (BIGAI) en Pennsylvania State University laten zien dat AI op deze manier kan leren redeneren door met computercode te spelen.
De onderzoekers bedachten een systeem genaamd Absoluut nul-redeneerder (AZR) dat eerst een groot taalmodel gebruikt om uitdagende maar oplosbare Python-coderingsproblemen te genereren. Vervolgens gebruikt het hetzelfde model om deze problemen op te lossen voordat het zijn werk controleert door te proberen de code uit te voeren. En ten slotte gebruikt het AZR-systeem successen en mislukkingen als een signaal om het oorspronkelijke model te verfijnen, waardoor het vermogen wordt vergroot om zowel betere problemen te stellen als deze op te lossen.
Het team ontdekte dat hun aanpak de codeer- en redeneervaardigheden van zowel 7 miljard als 14 miljard parameterversies van de code aanzienlijk verbeterde. open source taalmodel Qwen. Op indrukwekkende wijze presteerde het model zelfs beter dan sommige modellen die door mensen samengestelde gegevens hadden ontvangen.
Ik sprak met Andrew Zhaoeen promovendus aan de Tsinghua Universiteit die met het oorspronkelijke idee voor Absolute Zero op de proppen kwam Zilong Zhengeen onderzoeker bij BIGAI die met hem aan het project werkte, via Zoom.
Zhao vertelde me dat de aanpak lijkt op de manier waarop menselijk leren verder gaat dan uit het hoofd leren of imitatie. “In het begin imiteer je je ouders en vind je je leraren aardig, maar dan moet je eigenlijk je eigen vragen stellen”, zei hij. “En uiteindelijk kun je degenen overtreffen die je op school les gaven.”
Zhao en Zheng merkten op dat het idee van AI-leren op deze manier, ook wel ‘zelfspelen’ genoemd, al jaren teruggaat en eerder werd onderzocht door mensen als Jürgen Schmidhubereen bekende AI-pionier, en Pierre-Yves Oudeyereen computerwetenschapper bij Inria in Frankrijk.
Een van de meest opwindende elementen van het project is volgens Zheng de manier waarop de probleemstellende en probleemoplossende vaardigheden van het model worden geschaald. “De moeilijkheidsgraad neemt toe naarmate het model krachtiger wordt”, zegt hij.
Een belangrijke uitdaging is dat het systeem voorlopig alleen werkt bij problemen die gemakkelijk kunnen worden gecontroleerd, zoals problemen die met wiskunde of coderen te maken hebben. Naarmate het project vordert, kan het mogelijk zijn om het te gebruiken voor agentische AI-taken zoals surfen op internet of kantoorklusjes. Dit kan inhouden dat het AI-model moet proberen te beoordelen of de acties van een agent correct zijn.
Een fascinerende mogelijkheid van een benadering als Absolute Zero is dat het in theorie modellen in staat zou kunnen stellen verder te gaan dan de menselijke leer. ‘Als we dat eenmaal hebben, is het een soort manier om superintelligentie te bereiken,’ vertelde Zheng me.
Er zijn vroege tekenen dat de Absolute Zero-aanpak aanslaat bij enkele grote AI-laboratoria.
Een project genaamd Agent0van Salesforce, Stanford en de Universiteit van North Carolina in Chapel Hill, omvat een softwaretoolgebruikende agent die zichzelf verbetert door zelf te spelen. Net als bij Absolute Zero wordt het model beter in algemeen redeneren door middel van experimentele probleemoplossing. A recent papier geschreven door onderzoekers van Meta, de Universiteit van Illinois, en Carnegie Mellon University presenteert een systeem dat een soortgelijk soort zelfspel gebruikt voor software-engineering. De auteurs van dit werk suggereren dat het “een eerste stap is in de richting van het trainen van paradigma’s voor superintelligente softwareagenten.”
Het vinden van nieuwe manieren waarop AI kan leren zal dit jaar waarschijnlijk een groot thema zijn in de technologie-industrie. Nu conventionele gegevensbronnen schaarser en duurder worden, en naarmate laboratoria op zoek gaan naar nieuwe manieren om modellen capabeler te maken, zou een project als Absolute Zero kunnen leiden tot AI-systemen die minder op copycats lijken en meer op mensen.
