AI-R&D verloopt volgens een cyclus van hypothesen, experimenten en analyses, waarbij elke stap aanzienlijke handmatige technische inspanningen vergt. Een nieuw raamwerk van onderzoekers van SII-GAIR heeft tot doel dat knelpunt te dichten door de volledige optimalisatielus voor trainingsgegevens, modelarchitecturen en leeralgoritmen te automatiseren.
Een nieuw raamwerk genaamd ASI-EVOLVEontwikkeld door onderzoekers van het Genative Artificial Intelligence Research Lab (SII-GAIR), heeft tot doel dit knelpunt op te lossen. Het is ontworpen als een agentisch systeem voor AI-voor-AI-onderzoek en maakt gebruik van een continue “leer-ontwerp-experiment-analyse”-cyclus om de optimalisatie van de fundamentele AI-stack te automatiseren.
In experimenten ontdekte deze zelfverbeteringslus autonoom nieuwe ontwerpen die aanzienlijk beter presteerden dan de modernste menselijke basislijnen. Het systeem genereerde nieuwe taalmodelarchitecturen, verbeterde datapijplijnen voor voortraining om de benchmarkscores met meer dan 18 punten te verhogen, en ontwierp zeer efficiënte algoritmen voor het leren van versterking.
Voor bedrijfsteams die herhaalde optimalisatiecycli op hun AI-systemen uitvoeren, biedt het raamwerk een manier om de handmatige engineeringoverhead te verminderen en tegelijkertijd de prestaties van door mensen ontworpen basislijnen te evenaren of te overtreffen.
Het data- en ontwerpknelpunt
Technische teams kunnen op elk moment slechts een klein deel van de enorme mogelijke ontwerpruimte voor AI-modellen verkennen. Het uitvoeren van experimentele workflows vereist kostbare handmatige inspanning en frequente menselijke tussenkomst. En de inzichten die uit deze dure cycli worden verkregen, worden vaak opgesloten in de vorm van individuele intuïtie of ervaring, waardoor het moeilijk wordt om die kennis systematisch te behouden en over te dragen naar toekomstige projecten of tussen verschillende teams. Deze beperkingen beperken fundamenteel het tempo en de schaal van AI-innovatie.
AI heeft ongelooflijke vooruitgang geboekt op het gebied van wetenschappelijke ontdekkingen, variërend van gespecialiseerde tools zoals AlphaFold het oplossen van afzonderlijke biologische problemen tot agentische systemen die fundamentele wetenschappelijke vragen beantwoorden. De huidige raamwerken worstelen echter nog steeds met AI-innovatie met een open einde en zijn meestal beperkt tot beperkte optimalisatie binnen zeer specifieke beperkingen.
Het bevorderen van de kernmogelijkheden van AI is veel complexer. Het vereist het aanpassen van grote, onderling afhankelijke codebases, het uitvoeren van rekenintensieve experimenten die tientallen tot honderden GPU-uren in beslag nemen, en het analyseren van multidimensionale feedback van trainingsdynamiek.
“Bestaande raamwerken hebben nog niet aangetoond dat AI in dit regime op een uniforme manier effectief kan opereren, noch dat het betekenisvolle vooruitgang kan genereren binnen de drie fundamentele pijlers van de AI-ontwikkeling in plaats van binnen een enkele beperkte setting”, schrijven de onderzoekers.
Hoe ASI-EVOLVE leert onderzoeken
Om de beperkingen van handmatige R&D te overwinnen, werkt ASI-EVOLVE in een continue lus tussen voorkennis, het genereren van hypothesen, experimenten en verfijning. Het systeem leert relevante kennis en historische ervaringen uit bestaande databases, ontwerpt een kandidaatprogramma dat de volgende hypothese vertegenwoordigt, voert experimenten uit om evaluatiesignalen te verkrijgen en analyseert de resultaten in herbruikbare, voor mensen leesbare lessen die het terugkoppelt naar de kennisbasis.
Er zijn twee belangrijke componenten die ASI-EVOLVE aandrijven. De “Cognition Base” fungeert als de fundamentele domeinexpertise van het systeem. Om het zoekproces te versnellen, is het systeem vooraf geladen met menselijke kennis, taakrelevante heuristieken en bekende valkuilen uit de bestaande literatuur. Dit stuurt de verkenning vanaf de eerste iteratie in de richting van veelbelovende richtingen.
Het tweede onderdeel is de ‘Analyzer’, die de complexe, multidimensionale feedback van de experimenten aanpakt. Het verwerkt ruwe trainingslogboeken, benchmarkresultaten en efficiëntiesporen en distilleert deze in compacte, bruikbare inzichten en causale analyses.
Verschillende andere complementaire modules brengen het raamwerk samen. Een ‘onderzoeker’-agent beoordeelt de voorkennis uit de cognitiebasis en experimentele resultaten uit het verleden om nieuwe hypothesen te genereren, door gelokaliseerde codewijzigingen voor te stellen of nieuwe programma’s te schrijven.
De component “Ingenieur” voert de daadwerkelijke experimenten uit. Omdat AI-trainingsproeven ongelooflijk kostbaar zijn, is de Engineer uitgerust met efficiëntiemaatregelen zoals wandkloklimieten en snelle afwijzingstests om gebrekkige kandidaatprogramma’s eruit te filteren voordat ze buitensporig veel GPU-uren verbruiken.
Ten slotte fungeert de “Database” als het permanente geheugen van het systeem, waarin de code, onderzoeksmotivaties, ruwe resultaten en de eindrapporten van de Analyzer voor elke iteratie worden opgeslagen, waardoor wordt verzekerd dat inzichten in de loop van de tijd systematisch worden samengesteld.
Door deze componenten te verenigen, zorgt ASI-EVOLVE ervoor dat een AI-agent systematisch leert van complexe, praktijkgerichte experimentele feedback zonder dat daarvoor voortdurend menselijk ingrijpen nodig is.
Terwijl eerdere raamwerken zijn ontworpen om kandidaat-oplossingen te ontwikkelen, ‘evolueert ASI-EVOLVE de cognitie zelf’, schrijven de onderzoekers. “Geaccumuleerde ervaring en gedistilleerde inzichten worden voortdurend opgeslagen en opgehaald om toekomstige verkenningen te informeren, waardoor ervoor wordt gezorgd dat het systeem niet alleen groeit in de kwaliteit van zijn oplossingen, maar ook in zijn vermogen om te redeneren over waar het vervolgens moet zoeken.”
ASI-EVOLVE in actie
In hun experimenten lieten de onderzoekers zien dat ASI-EVOLVE met succes datacuratie, modelarchitecturen en leeralgoritmen kan verbeteren om betere AI-systemen te creëren.
Voor zakelijke toepassingen in de echte wereld vormen gegevens van hoge kwaliteit een hardnekkig knelpunt. Toen ASI-EVOLVE werd belast met het ontwerpen van categoriespecifieke opschoonstrategieën voor grote corpora vóór de training, inspecteerde hij datamonsters en diagnosticeerde hij kwaliteitsproblemen zoals HTML-artefacten en inconsistenties in de opmaak. Het systeem formuleerde autonoom aangepaste beheerregels en ontdekte dat systematisch opschonen in combinatie met domeinbewuste bewaarregels veel effectiever is dan agressief filteren.
In benchmarktests zagen 3B-parametermodellen die waren getraind op de door AI samengestelde gegevens een gemiddelde scoreverbetering van bijna 4 punten ten opzichte van modellen die waren getraind op ruwe gegevens. De winst was het grootst bij kennisintensieve taken, waarbij de prestaties met ruim 18 punten toenamen op Massive Multitask Language Understanding (MMLU), een LLM-benchmark die taken in STEM, geesteswetenschappen en sociale wetenschappen omvat.
Naast data bleek het systeem zeer capabel in het ontwerpen van neurale architectuur. Tijdens 1.773 autonome verkenningsrondes genereerde het 105 nieuwe lineaire aandachtsarchitecturen die DeltaNet, een zeer efficiënte, door mensen ontworpen basislijn, overtroffen. Om deze resultaten te bereiken heeft ASI-EVOLVE multi-scale routeringsmechanismen ontwikkeld die het rekenbudget van het model dynamisch aanpassen op basis van de specifieke inhoud van de invoer.
Ten slotte ontdekte ASI-EVOLVE bij het ontwerpen van algoritmen voor versterkend leren nieuwe optimalisatiemechanismen. Het ontwierp algoritmen die beter presteerden dan de concurrerende GRPO-basislijn op complexe benchmarks voor wiskundig redeneren, zoals AMC32 en AIME24. Eén succesvolle variant vond een “Budget-Constrained Dynamic Radius” uit die modelupdates binnen een bepaald budget houdt, waardoor training op basis van luidruchtige gegevens effectief wordt gestabiliseerd.
Wat dit betekent voor zakelijke AI
Enterprise AI-workflows vereisen voortdurend optimalisaties van bestaande systemen, van het verfijnen van open-sourcemodellen op bedrijfseigen gegevens tot het aanbrengen van kleine wijzigingen in architecturen en algoritmen. Normaal gesproken zijn de computerbronnen en technische uren die nodig zijn om dergelijke inspanningen uit te voeren enorm en vallen ze buiten de mogelijkheden van de meeste organisaties. Als gevolg hiervan blijven velen achter met niet-geoptimaliseerde versies van standaard AI-modellen.
Het onderzoeksteam zegt dat het raamwerk zo is ontworpen dat bedrijven eigen domeinkennis kunnen integreren in de cognitierepository en de autonome lus kunnen herhalen op interne AI-systemen.
Het onderzoeksteam heeft open source de ASI-EVOLVE-codewaardoor het fundamentele raamwerk beschikbaar wordt voor ontwikkelaars en productbouwers.
