Op sommige dagen kan het lijken alsof de hele technische wereld afhankelijk is van de laatste update van één grafiek.
De grafiek in kwestie is gemaakt door een non-profit onderzoeksinstituut genaamd METR en beoordeelt de softwareontwikkelingscapaciteiten van verschillende AI-modellen.
Deze grafiek roept al maanden opwinding en ongemak op bij iedereen die naar kunstmatige intelligentie kijkt, omdat de grafiek een opvallende exponentiële trend laat zien – dat wil zeggen een verdubbeling van de groei.
Volgens METR, oftewel Model Evaluation and Threat Research, wordt AI in een verrassend tempo van ongeveer elke zeven maanden twee keer zo goed.
Uit de laatste resultaten bleek dat de trend zich niet alleen voortzette, maar zelfs versnelde.
METR test AI’s door hun vermogen te beoordelen om steeds langere menselijke softwaretaken uit te voeren.
Het nieuwste model dat het analyseerde, Claude Opus 4.6 van Anthropicbrak alle voorgaande records.
‘Monsterlijke sprongen’
Velen in de technologiesector vergelijken de situatie met de COVID-pandemie vanwege de bedrieglijke manier waarop verdubbeling verandert van ogenschijnlijk kleine stijgingen in monsterlijke sprongen.
‘Niets, niets, niets, alles’, zo beschreef een Britse tech-ondernemer en AI-onderzoeker mij de situatie een paar maanden geleden, in een tijd dat de METR-grafiek er al behoorlijk duizelingwekkend uitzag (hoewel het achteraf gezien voelt alsof we nauwelijks de uitlopers naderden).
De vooruitgang sindsdien geeft velen het gevoel dat we “alles” snel naderen.
Bestandsfoto: Reuters
Na de publicatie van de kaart stuurde een METR-onderzoeker een briefje naar zijn oude studievrienden, dat hij op sociale media plaatste, waarin hij zei: “Ik heb er nu alle vertrouwen in dat het volkomen krankzinnig en chaotisch gaat worden, zoals vele ordes van grootte chaotischer dan alles wat de wereld in onze levens heeft meegemaakt.”
Dit is op dit moment niet eens een ongebruikelijk sentiment in de technologiesector. De CEO’s van toonaangevende AI-bedrijven doen voortdurend soortgelijke uitspraken.
‘Tien keer de impact van de industriële revolutie’
Zelfs Demis Hassabis, de meest gemeten AI-leider, zegt regelmatig dat AI tien keer zoveel impact zal hebben als de Industriële Revolutie, in een tiende van de tijdspanne.
Een breed gedeelde nieuwsbrief waarin werd gereageerd op de METR-grafiek, stelde het eenvoudiger: “Wanneer moet ik beginnen tegen je te schoppen en te schreeuwen dat het… gebeurt.”
Maar wat is ‘het’ precies? Bij nader inzien wordt het moeilijker om dat te zeggen.
Kijk om te beginnen eens naar wat het METR-diagram feitelijk meet.
Lees meer:
Als u een door AI gegenereerd wachtwoord heeft, moet u dit wijzigen
‘De mensheid is gekookt’: AI’s hebben nu hun eigen sociale netwerk
De details zijn technisch, maar grofweg meet het de lengte van een taak die een AI 50% van de tijd kan voltooien – wat betekent dat ze net zo vaak mislukken als slagen.
Een eind verwijderd van volledige automatisering
Een bedrijf dat zijn activiteiten zou overdragen aan een AI die een taak de helft van de tijd zou kunnen voltooien, zou het niet lang volhouden.
Zelfs 80% succes – wat METR ook meet – zou niet dichtbij genoeg zijn voor iets dat volledige automatisering in een bedrijfsomgeving benadert.
Dan is er nog de precieze locatie van de punten op de kaart, waarvan zelfs METR-onderzoekers toegeven dat ze daar niet zeker van zijn.
“We worden steeds zenuwachtiger over de metingen die we doen”, zegt Joel Becker, lid van de technische staf van METR, verwijzend naar het extreem grote bereik aan mogelijke waarden – het betrouwbaarheidsinterval – in de Claude Opus 4.6-evaluatie van de groep.
“Daar willen we ons niet achter verschuilen. Ik denk dat dat echte onzekerheid is.”
Een belangrijke reden achter de onzekerheid is dat het voor organisaties als METR steeds moeilijker wordt om taken te vinden die moeilijk genoeg zijn om de AI goed te testen.
Dat vertelt op zichzelf al een verhaal.
Niettemin is het, nu de markten in beweging zijn op basis van kleine veranderingen in AI-beoordelingen, belangrijk om te onthouden dat een paar kleine aanpassingen in de tests van METR het resultaat op een betekenisvolle manier zouden kunnen hebben veranderd.
Het tempo van de vooruitgang op het gebied van AI neemt misschien toe, maar kan net zo goed vertragen.
Becker, die zei dat hij was gestopt met het uitbetalen van een pensioen sinds hij de trend in de ontwikkeling van AI begreep, vertelde Sky News dat hij geloofde dat AI zichzelf nog niet kon verbeteren, wat de sciencefictionangst voor een explosie van AI-mogelijkheden opwekte.
Niettemin zei hij dat “het vandaag de dag waarschijnlijk zo is dat AI-tools de mate waarin AI-professionals vooruitgang kunnen boeken bij het bouwen van steeds betere AI’s op betekenisvolle wijze versnellen”, wat op zichzelf al aanzienlijk is.
“Ik wil communiceren dat de situatie ernstig is, dat deze snel evolueert, dat deze niet lijkt te vertragen en dat deze versnelt”, zei Becker tegen Sky News.
“Het zou geassocieerd kunnen worden met buitengewoon positieve mogelijkheden… en aan de andere kant kunnen er buitengewone, gevaarlijke dingen volgen.”
Welke invloed heeft AI op de werkgelegenheid?
Momenteel laten de werkgelegenheidsstatistieken in Groot-Brittannië en de VS weinig tekenen zien van enige impact van AI.
Advertenties voor banen in de software-engineering op het banenzoekplatform Indeed stijgen zelfs.
Becker zei dat hij dacht dat programmeurs een toekomst hadden, althans voor een tijdje.
“Er zijn al deze AI-professionals in de laboratoria, weet je, ze doen echt werk. Ik kan me voorstellen dat ze het komende jaar niet zo’n soortgelijk werk zullen blijven doen, misschien nog wel veel meer jaren.”
Maar hij waarschuwde: ‘Economische statistieken verwijzen naar wat er een aantal maanden geleden is gebeurd en niet naar wat er precies vandaag gebeurt.
“En ik denk dat een deel van de buitengewone vooruitgang die we hebben gezien, vooral op het gebied van software-engineering, maar ook op andere gebieden, van het steeds capabeler worden van AI, pas de afgelopen maanden heeft plaatsgevonden.”
De snelheid van de ontwikkeling van AI is zo snel dat het extreem moeilijk te meten is.
Dat feit alleen al is buitengewoon belangrijk.
