Het vermogen om de toekomst te voorspellen is een waardevol teken van intelligentie en een goede test daarvan De mogelijkheden van AI. Hoe goed is ChatGPT bij voorspelling?
Een antwoord op deze fascinerende vraag ontstond onlangs toen econoom David Seif een jaarlijkse voorspellingswedstrijd organiseerde die hij organiseert voor een geheime groep economen, hedgefondsinvesteerders en tech-managers.
In het zevende jaar van de uitdaging moeten deelnemers ongeveer 30 evenementen voorspellen. De wedstrijd van 2025 begon eind 2024, toen Seif de lijst met te voorspellen gebeurtenissen verzond op gebieden als politiek, zakenleven, wetenschap, economie, popcultuur en sport.
Eén vraag vroeg de deelnemers om te voorspellen of Taylor Swift en Travis Kelce zouden hun engagement vóór 1 april aankondigen. Een andere: Zou Bulgarije de euro op of vóór 1 juli als officiële munteenheid aannemen?
Sam Leffell, directeur bij een hedgefondsfirma, was in december zijn kansen aan het invullen en had een idee.
“Toen ik de vragen beantwoordde, had ik het ChatGPT-scherm geopend. Ik vroeg me af wat het op deze vragen zou zeggen?” herinnerde hij zich in een recent interview.
ChatGPT moest complexe regels leren
Leffell nam contact op met Seif om te vragen of ChatGPT kon deelnemen, en Seif zei: ga ervoor. Dus Leffell begon met het plakken van de spelregels in ChatGPT.
Dit zijn complexe regels die meerdere pagina’s beslaan. Deelnemers moeten een percentage toekennen op basis van de waarschijnlijkheid dat elke gebeurtenis plaatsvindt. Naarmate de resultaten in de loop van het jaar binnenkomen, worden deze voorspellingen een beetje als golf beoordeeld. De laagste score wint.
“Je krijgt punten die gelijk zijn aan het kwadraat van het verschil tussen wat je hebt neergezet en de resultaten”, zei Seif.
Als u bijvoorbeeld een kans van 90% toewijst dat er iets gebeurt en u doet het goed, krijgt u 10 punten. Dat aantal wordt gekwadrateerd, wat resulteert in een totaal van 100 punten. Uitstekend werk.
Het tegenovergestelde is pijnlijker. Als uw 90% waarschijnlijkheidsgebeurtenis niet plaatsvindt, zit u met het verschil tussen 90 en nul. Die 90-score wordt vervolgens gekwadrateerd voor een totaal van 8.100 punten. Au.
En dit is alleen nog maar het scoresysteem. Er zijn hele pagina’s met regels over andere aspecten van het spel. Leffell heeft dit allemaal in ChatGPT geplakt.
Een paar seconden later antwoordde de AI-chatbot: “Bedankt voor het verstrekken van de gedetailleerde regels van de voorspellingswedstrijd. Deel alstublieft de schone lijst met aanwijzingen waarvoor u een waarschijnlijkheidsschatting nodig heeft, en ik zal voor elk een enkel getal geven volgens de richtlijnen van de wedstrijd.”
Leffell plakte alle 30 vragen tegelijk in en ChatGPT antwoordde snel met de procentuele waarschijnlijkheid voor elke gebeurtenis. Leffell stuurde deze naar Seif, die namens ChatGPT de antwoorden invoerde.
Zelfs tijdens het opzetten van dit machine-voorspellingsexperiment merkte Leffell iets intrigerends op.
“Voor één vraag, gerelateerd aan een NFL-wildcard-uitkomst, gaf deze een wiskundig antwoord dat statistisch correct was”, zei hij. “Het was wiskunde in plaats van kwalitatieve dingen. Dat was opmerkelijk omdat ChatGPT destijds niet de bedoeling was goed in wiskunde.”
ChatGPT doet voorspellingen
Toen 2025 begon, hadden 160 deelnemers hun voorspellingen ingediend en begonnen te wachten tot de toekomst zich zou ontvouwen.
Toen hoorde ik voor het eerst over het spel via vrienden die meededen. Eén daarvan is een hedgefondsbeheerder. De andere twee zijn een chief marketing officer en een advocaat.
Ze werden onuitstaanbaar op feestjes en bespraken hun verschillende voorspellingen, samen met de fijne kneepjes van het scoresysteem en andere regels.
Het is het soort gesprek dat mij dood verveelt. Toen een vriend dat echter zei ChatGPT deed mee voor het eerst raakte ik verslaafd.
Kan een machine beter presteren dan 160 mensen bij het voorspellen van al deze gebeurtenissen? AI-modellen zijn geweldig als er bestaande gegevens zijn. Als het om de toekomst gaat, is er veel minder informatie om op te vertrouwen.
Ik had onlangs getest ChatGPT’s vermogen om aandelenmarkten te voorspellen. Zou het kunnen uitblinken in deze complexere uitdaging, of zijn mensen op unieke wijze bedreven in het voorspellen van de toekomst door middel van ervaring, extrapolatie en intuïtie?
Naarmate het jaar vorderde, vonden sommige gebeurtenissen plaats, en andere niet. Sommige gebeurden te laat, terwijl andere zich op vreemde, onverwachte manieren ontwikkelden. Zoals het leven dat doet.
Elke keer dat een vraag werd opgelost, werkte Seif een centrale spreadsheet bij en stuurde een ranglijst naar alle deelnemers.
Mijn vrienden grepen elke update aan. Wie was er aan het winnen? Wie bleef achter? En vooral: waar stond ChatGPT gerangschikt?
Vreemde symmetrie
Het spel eindigde op 13 november.
“Voor het eerst in de zeven jaar dat we de wedstrijd organiseren, heb ik zelf de overwinning behaald”, schreef Seif in zijn laatste e-mailupdate van de wedstrijd van 2025.
ChatGPT eindigde op de 80e plaats, schreef hij, “en we hadden 160 spelers.”
Vreemde symmetrie. Ik sms’te meteen mijn vrienden: Dit betekent dat ChatGPT niet beter is dan de gemiddelde mens! Niet erg indrukwekkend.
Een van mijn vrienden, de CMO, antwoordde: Nee, dit betekent dat ChatGPT net zo goed is als de gemiddelde mens. Ongelooflijk!
ChatGPT heeft een benchmark gemist
Ik vroeg Seif hierover, en hij had een andere manier om de voorspellende kracht van ChatGPT, of het gebrek daaraan, te meten.
Als je een waarschijnlijkheid van 50% zou inschatten voor elke gebeurtenis, zou je 75.000 punten hebben gekregen. Dat is Seif’s maatstaf voor de vraag of deelnemers waarde hebben toegevoegd of niet.
ChatGPT kreeg 82.925. Het miste dus die benchmark en voegde volgens Seif in wezen een negatieve waarde toe.
Toen er veel bestaande gegevens waren die konden helpen bij het voorspellen en berekenen van kansen, deed ChatGPT het beter, zei hij.
De chatbot analyseerde deze gebeurtenis bijvoorbeeld goed, waardoor de kans 70% was dat deze zou plaatsvinden: Het winnende team van de FIFA Clubwereldkampioenschap komt uit de Europese Unie.
ChatGPT presteerde slechter als er een gebrek aan gegevens was, of als er nieuwe informatie werd gemist die de kans op het optreden van een gebeurtenis veranderde.
De chatbot gaf bijvoorbeeld een kans van 95% dat dit zou gebeuren: Astronauten Suni Williams en Butch Wilmore veilig tegen 1 maart naar de aarde terugkeren.
Eind 2024 maakten nieuwsaankondigingen duidelijk dat het zeer onwaarschijnlijk was dat deze reddingsmissie op 1 maart 2025 zou plaatsvinden, zei Seif.
“ChatGPT was gewoon niet op de hoogte van het nieuws hierover”, voegde hij eraan toe.
Misschien heeft ChatGPT gewonnen?
Leffell, de hedgefondsmanager die ChatGPT in het spel heeft geïntroduceerd, trok verschillende conclusies en deelde enkele belangrijke kanttekeningen.
Hij vroeg ChatGPT om deze voorspellingen in december 2024 te doen. Opons ‘IAI’ is sindsdien verbeterd, dus het voorspellend vermogen kan nu beter zijn. Betere aanwijzingen hebben er mogelijk ook voor gezorgd dat ChatGPT beter presteerde.
Leffell zei ook dat ChatGPT slechts een paar minuten nodig had om de complexe regels van het spel te begrijpen en 30 voorspellingen te doen – een stuk sneller dan de meeste menselijke deelnemers.
Leffell zelf besteedde gedurende meerdere dagen vele uren aan het begrijpen van de vragen en het onderzoeken van de gebeurtenissen, waarbij hij tot zijn eigen waarschijnlijkheden kwam.
“Het deed het beter dan de helft van de mensen, en het besteedde veel minder tijd dan alle anderen aan de uitdaging”, vertelde hij me. “Als je kijkt naar de resultaten per minuut werk, heeft ChatGPT misschien gewonnen?”
Als investeerder is hij bezig met het inschatten van zoveel mogelijk kansen, dus ChatGPT en soortgelijke AI-tools zijn essentieel geworden, zei hij.
“Wat als je niet snel 30 gebeurtenissen hoeft te voorspellen, maar in plaats daarvan 30.000 gebeurtenissen? Wat als het goed genoeg is om al deze voorspellingen snel te doen?” aldus Leffell.
“Het is alomtegenwoordig geworden in alles wat ik doe, in mijn persoonlijke leven en op het werk”, voegde hij eraan toe. “We gebruiken het veel. ChatGPT is op dit moment tafelinzet.”
Meld u aan voor de Tech Memo-nieuwsbrief van BI hier. Neem contact met mij op via e-mail op abarr@businessinsider.com.
