Welkom bij AI Gedecodeerd, Snel bedrijf’s wekelijkse nieuwsbrief met het belangrijkste nieuws ter wereld AI. Je kunt tekenen om deze nieuwsbrief wekelijks per e-mail te ontvangen hier.
François Chollet over AI-benchmarks
Ik schreef een exclusieve functie deze week over de lancering van een nieuwe AI benchmark genaamd ARC-AGI-3. De benchmark is gemaakt door de invloedrijke AI-onderzoeker Francois Chollet, die ook het veelgebruikte Keras deep learning-framework creëerde, een vereenvoudigde toolkit voor het bouwen van AI-modellen. Chollet heeft lang betoogd dat de huidige AI-modellen beperkt zijn in hun vermogen om door nieuwe situaties en problemen te navigeren. De ARC-test, die mensen wel beheersen, maar de meeste AI-systemen niet, is ontworpen om die beperking bloot te leggen. Mijn interview met Chollet bevatte veel algemene inzichten die niet in het verhaal terechtkwamen. Hier zijn er enkele (met mijn aantekeningen vetgedrukt.)
ARC-AGI-3 vraagt AI-agenten om zonder instructies door een reeks simplistische videogames te navigeren. Hier is Chollet over waarom de huidige modellen daar moeite mee hebben:
“Het komt omdat ze afhankelijk zijn van onthouden en terugvinden, en het spel is iets dat ze nog nooit eerder hebben gezien. Ze hebben dat specifieke spel of soortgelijke spellen nog nooit eerder gespeeld, omdat elk spel uniek is. Ze zijn dus verdwaald. Maar een mens is over het algemeen intelligent. Een mens is nooit verdwaald. Een mens kan het meteen uitzoeken omdat hij over vloeiende intelligentie beschikt.”
Ik begon me voor te stellen hoe ik het zou aanpakken om de spellen uit te zoeken. Ik stelde Chollet voor dat mijn belangrijkste strategie zou zijn om na te denken over soortgelijke scenario’s die ik in het verleden of in andere contexten heb gezien, en deze te proberen toe te passen.
“In modellen zijn veel abstracties gecodeerd. Ze hebben in feite meer kennis dan jij. Maar ze hebben een zeer laag vermogen om die kennis tijdens de test opnieuw te combineren om iets te begrijpen dat ze nog nooit eerder hebben gezien. Het is de manier waarop het hele paradigma werkt. We zijn echt goed in het absorberen van kennis, het absorberen van heel veel patronen. Beter dan het menselijk brein, en op een veel grotere schaal. We zijn erg slecht in vloeiende intelligentie, die deze patronen neemt en ze in één keer combineert om een nieuw model (van een probleem).”
Over wat een AI-model precies nodig heeft om hoog te scoren op de benchmark:
“Ze hebben kleine hoeveelheden wereldmodellering en voortdurend leren nodig. Continu leren is het idee dat je op het ene niveau één concept gaat leren, op het volgende niveau dat concept opnieuw gaat gebruiken, maar een nieuw leert, en op het derde niveau een derde concept gaat toevoegen, enzovoort. Het is voortdurend leren.”
AI-modellen moeten niet alleen voortdurend leren, maar ze moeten ook een model van de wereld vormen dat oorzaken en gevolgen vastlegt. Chollet legt uit:
“Over het algemeen zijn alle ingrediënten die je nodig hebt om ARC 3 op de juiste manier op te lossen, zonder brute force, zonder training in miljoenen games, de ingrediënten van de menselijke intelligentie, maar op een zeer kleine schaal. De controleruimte is klein, de sensorruimte is klein, de mechanica van de werelden is heel eenvoudig en je leertijdschaal is erg kort. Maar het gaat fundamenteel om het omgaan met het onbekende. Je moet verkennen. Je moet dingen proberen en dan stap voor stap, beetje bij beetje, een causaal model van wat er aan de hand is, zoals ‘wat gebeurde er toen ik op deze knop drukte?’”
Dan moet je bedenken wat je wilt doen in deze wereld. Als een kind dat leert bewegen. Ze moeten uitzoeken hoe hun gevoel voor ruimte werkt, hoe de omgeving reageert op wat ze doen. En als ze dingen kunnen doen, zoals kruipen, moeten ze bedenken wat ze willen doen. Waar wil ik kruipen? Als ik een voorwerp kan pakken, waarom zou ik dan dit of dat voorwerp willen pakken?
Over wat er zou gebeuren als we deze oplossingen zouden integreren en dicht bij een perfecte score zouden komen bij het spelen van de games in ARC-AGI-3:
De causale modellen die je moet bouwen om deze spellen op te lossen zijn dramatisch eenvoudiger dan de causale modellen van de wereld die je in je hoofd hebt. En het voortdurende leren dat je moet doen om een van deze spellen op te lossen, ligt op de schaal van een paar minuten – vijf minuten, 10 minuten gameplay. Een mens doet tientallen jaren van voortdurend leren. Het zijn dus de juiste ingrediënten op zeer kleine schaal. Het is een stap in de goede richting, maar je kunt niet zeggen dat dit op menselijk niveau is.
OpenAI heeft Sora mogelijk uitgeschakeld als onderdeel van een draai richting ‘wereldmodellering’
OpenAI heeft daartoe besloten sluit de Sora-app afwaarmee gebruikers AI-video’s kunnen genereren en deze vervolgens kunnen delen op zijn TikTok-stijl sociale feed. De reden hiervoor zou kunnen aansluiten bij een groeiende trend onder spelers van de AI-videogeneratie. Het AI-lab gaat zich mogelijk richten op het gebruik van zijn AI-videogeneratietechnologie voor wereldmodellering en simulatie.
“Terwijl we ons concentreren en de vraag naar computers groeit, blijft het Sora-onderzoeksteam zich concentreren op wereldsimulatieonderzoek om robotica te bevorderen die mensen zal helpen bij het oplossen van echte, fysieke taken”, aldus een woordvoerder van OpenAI. verteld Axios. Die technologie die ook kan worden gebruikt bij game-ontwikkeling, digitale tweelingen en speciale effecten in visueel entertainment. AI-videogeneratiebedrijven Moonvalley en Runway AI zijn ook op weg naar ontwikkelingsmodellen.
OpenAI zou ook geschrokken kunnen zijn van het overduidelijke risico op inbreuk op het auteursrecht van apps als Sora. Veel auteursrechthouders, waaronder Hollywoodstudio’s en acteurs, waren geschokt toen ze zagen dat Sora vaak bekende gezichten gebruikte en geen duidelijke vangrails had om deze te controleren. OpenAI reageerde door aan te bieden Hollywood-studio’s en acteurs meer controle te geven over hun IP en gelijkenissen op het platform.
Disney-personages behoorden tot de eerste auteursrechtelijk beschermde items die in Sora-video’s verschenen. Maar de twee bedrijven sloten een deal: Disney werd uitgenodigd om een miljard dollar te investeren in OpenAI, en stemde ermee in om het gebruik van klassieke Disney-personages in Sora-video’s toe te staan. The Hollywood Reporter meldt nu dat de overeenkomst is af.
OpenAI zal doorgaan met het bouwen van zijn modellen voor het genereren van video’s, en het is mogelijk dat zoiets als Sora aan ChatGPT wordt toegevoegd.
Meer AI-dekking van Snel bedrijf:
- Wat gebeurt er als een AI-agent besluit u een e-mail te sturen?
- Dit Microsoft-beveiligingsteam voert een stresstest uit op AI voor de worstcasescenario’s
- Waarom het laatste nieuws nog steeds wint in het tijdperk van AI
- Het werk van deze kunstenaar was te zien in het MoMA. Nu traint het AI
Wilt u exclusieve rapportage en trendanalyse over technologie, bedrijfsinnovatie, de toekomst van werk en design? Schrijf je in voor Snel bedrijf Premie.
