Het creëren van zelfverbeterende AI-systemen is een belangrijke stap in de richting van de inzet van agenten in dynamische omgevingen, vooral in bedrijfsproductieomgevingen, waar taken niet altijd voorspelbaar of consistent zijn.
De huidige zelfverbeterende AI-systemen worden geconfronteerd met ernstige beperkingen omdat ze vertrouwen op vaste, handgemaakte verbeteringsmechanismen die alleen werken onder strikte voorwaarden, zoals software-engineering.
Om deze praktische uitdaging te overwinnen, introduceerden onderzoekers van Meta en verschillende universiteiten “hyperagenten”, een zichzelf verbeterend AI-systeem dat de probleemoplossende logica en de onderliggende code voortdurend herschrijft en optimaliseert.
In de praktijk zorgt dit ervoor dat de AI zichzelf kan verbeteren in niet-coderende domeinen, zoals robotica en documentbeoordeling. De agent bedenkt zelfstandig mogelijkheden voor algemene doeleinden, zoals persistent geheugen en geautomatiseerde prestatieregistratie.
Meer in het algemeen worden hyperagenten niet alleen beter in het oplossen van taken, ze leren ook de zelfverbeteringscyclus te verbeteren om de voortgang te versnellen.
Dit raamwerk kan helpen bij het ontwikkelen van zeer aanpasbare agenten die autonoom gestructureerde, herbruikbare beslissingsmachines bouwen. Deze aanpak combineert mogelijkheden in de loop van de tijd met minder behoefte aan constante, handmatige prompt engineering en domeinspecifieke menselijke aanpassingen.
Huidige zelfverbeterende AI en zijn architecturale knelpunten
Het kerndoel van zelfverbeterende AI-systemen is het voortdurend verbeteren van hun eigen leer- en probleemoplossend vermogen. De meeste bestaande modellen voor zelfverbetering zijn echter afhankelijk van een vaste ‘meta-agent’. Dit statische toezichtsysteem op hoog niveau is ontworpen om een basissysteem te wijzigen.
“De kernbeperking van handgemaakte meta-agents is dat ze alleen kunnen verbeteren zo snel als mensen ze kunnen ontwerpen en onderhouden”, vertelde Jenny Zhang, co-auteur van het artikel, aan VentureBeat. “Elke keer dat er iets verandert of kapot gaat, moet iemand tussenbeide komen en de regels of logica bijwerken.”
In plaats van een abstracte theoretische limiet creëert dit een praktische ‘onderhoudsmuur’.
Het huidige paradigma koppelt systeemverbetering rechtstreeks aan de menselijke iteratiesnelheid, waardoor de voortgang wordt vertraagd omdat deze sterk leunt op handmatige engineeringinspanningen in plaats van op te schalen met door agenten verzamelde ervaring.
Om deze beperking te overwinnen, stellen de onderzoekers dat het AI-systeem ‘volledig zelfreferentieel’ moet zijn. Deze systemen moeten elk deel van zichzelf kunnen analyseren, evalueren en herschrijven zonder de beperkingen van hun oorspronkelijke opstelling. Hierdoor kan het AI-systeem zich losmaken van structurele beperkingen en zichzelf versnellen.
Een voorbeeld van een zelfreferentieel AI-systeem is dat van Sakana Darwin Gödel-machine (DGM), een AI-systeem dat zichzelf verbetert door zijn eigen code te herschrijven.
In DGM genereert, evalueert en wijzigt een agent iteratief zijn eigen code, waarbij succesvolle varianten in een archief worden opgeslagen en als opstapje voor toekomstige verbeteringen dienen. DGM bleek dat recursieve zelfverbetering met een open einde praktisch haalbaar is bij het coderen.
DGM schiet echter tekort als het wordt toegepast op toepassingen in de echte wereld buiten de software-engineering, vanwege een kritische vaardigheidskloof. In DGM verbetert het systeem omdat zowel evaluatie als zelfaanpassing codeertaken zijn. Het verbeteren van de codeercapaciteiten van de agent verbetert op natuurlijke wijze zijn vermogen om zijn eigen code te herschrijven. Maar als u DGM inzet voor een niet-coderende bedrijfstaak, mislukt deze afstemming.
“Voor taken als wiskunde, poëzie of het beoordelen van papieren betekent het verbeteren van de taakprestaties niet noodzakelijkerwijs het vermogen van de agent om zijn eigen gedrag aan te passen,” zei Zhang.
De vaardigheden die nodig zijn om subjectieve tekst of bedrijfsgegevens te analyseren, zijn totaal verschillend van de vaardigheden die nodig zijn om fouten te analyseren en nieuwe Python-code te schrijven om deze op te lossen.
DGM vertrouwt ook op een vast, door mensen ontworpen mechanisme om instructies voor zelfverbetering te genereren. Als bedrijfsontwikkelaars DGM voor iets anders dan coderen willen gebruiken, moeten ze in de praktijk de instructieprompts voor elk nieuw domein zwaar engineeren en handmatig aanpassen.
Het hyperagent-framework
Om de beperkingen van eerdere architecturen te overwinnen, introduceren de onderzoekers hyperagents. Het raamwerk stelt “zelfreferentiële agenten voor die in principe zichzelf kunnen verbeteren voor elke berekenbare taak.”
In dit raamwerk is een agent elk berekenbaar programma dat LLM’s, externe tools of geleerde componenten kan aanroepen. Traditioneel worden deze systemen opgesplitst in twee verschillende rollen: een ‘taakagent’ die het specifieke probleem uitvoert, en een ‘meta-agent’ die de agenten analyseert en aanpast. Een hyperagent combineert zowel de taakagent als de meta-agent tot één enkel, zelfreferentieel en bewerkbaar programma.
Omdat het hele programma herschreven kan worden, kan het systeem het zelfverbeteringsmechanisme wijzigen, een proces dat de onderzoekers metacognitieve zelfmodificatie noemen.
“Hyperagenten leren niet alleen hoe ze de gegeven taken beter kunnen oplossen, maar leren ook hoe ze deze kunnen verbeteren”, zei Zhang. “In de loop van de tijd leidt dit tot accumulatie. Hyperagents hoeven niet opnieuw te ontdekken hoe ze op elk nieuw domein kunnen verbeteren. In plaats daarvan behouden ze verbeteringen aan het zelfverbeteringsproces zelf en bouwen ze hierop voort, waardoor de voortgang zich over de taken heen kan uitbreiden.”
De onderzoekers breidden de Darwin Gödel Machine uit om DGM-Hyperagents (DGM-H) te creëren. DGM-H behoudt de krachtige open-end verkenningsstructuur van de oorspronkelijke DGM, die voorkomt dat de AI te vroeg samenkomt of vastloopt in doodlopende wegen door een groeiend archief van succesvolle hyperagenten te onderhouden.
Het systeem vertakt zich voortdurend van geselecteerde kandidaten in dit archief, stelt hen in staat zichzelf aan te passen, evalueert de nieuwe varianten voor bepaalde taken en voegt de succesvolle varianten weer toe aan de pool als springplank voor toekomstige iteraties.
Door deze evolutionaire zoektocht met een open einde te combineren met metacognitieve zelfmodificatie, elimineert DGM-H de vaste, door mensen ontworpen instructiestap van de oorspronkelijke DGM. Hierdoor kan de agent zichzelf verbeteren bij elke berekenbare taak.
Hyperagenten in actie
De onderzoekers gebruikten de Benchmark voor polyglotcodering om het hyperagent-framework te vergelijken met eerdere AI die alleen codeert. Ze evalueerden ook hyperagents in niet-coderende domeinen waarbij subjectief redeneren, extern gereedschapsgebruik en complexe logica betrokken zijn.
Deze omvatten onder meer een papieren beoordeling om een peer-reviewer te simuleren die beslissingen neemt of afwijst, een beloningsmodel ontwerpen voor het trainen van een viervoetige robot en wiskunde op Olympiade-niveau beoordelen. Het beoordelen van wiskunde diende als een langdurige test om te zien of een AI die leerde hoe hij zichzelf kon verbeteren door papieren te beoordelen en robots te ontwerpen, die metavaardigheden naar een volledig onzichtbaar domein kon overbrengen.
De onderzoekers vergeleken hyperagents met verschillende basislijnen, waaronder domeinspecifieke modellen zoals AI-Scientist-v2 voor papieren beoordelingen en de ProofAutoGrader voor wiskunde. Ze hebben ook getest met de klassieke DGM en een handmatig aangepaste DGM voor nieuwe domeinen.
Op de coderingsbenchmark kwamen hyperagents overeen met de prestaties van DGM, ondanks dat ze niet specifiek waren ontworpen voor codering. Op het gebied van papieren beoordeling en robotica presteerden hyperagenten beter dan de open-source basislijnen en door mensen ontworpen beloningsfuncties.
Toen de onderzoekers een hyperagent gebruikten die was geoptimaliseerd voor papieren beoordeling en robotica en deze inzette voor de onzichtbare wiskundebeoordelingstaak, bereikte deze een verbeteringsmetriek van 0,630 in 50 iteraties. De basislijnen die gebaseerd waren op klassieke DGM-architecturen bleven op een vlakke 0,0. De hyperagent versloeg zelfs de domeinspecifieke ProofAutoGrader.
De experimenten brachten ook interessant autonoom gedrag van hyperagenten aan het licht. Bij papieren evaluatie gebruikte de agent eerst standaard prompt-engineering-trucs, zoals het aannemen van een rigoureuze persoonlijkheid. Toen dit onbetrouwbaar bleek, herschreef het zijn eigen code om een meerfasige evaluatiepijplijn op te bouwen met expliciete checklists en rigide beslissingsregels, wat tot een veel grotere consistentie leidde.
Hyperagents ontwikkelden ook autonoom een geheugentool om herhaling van fouten uit het verleden te voorkomen. Bovendien schreef het systeem een prestatietracker om het resultaat van architecturale veranderingen over generaties heen te registreren en te monitoren. Het model ontwikkelde zelfs een rekenbudgetbewust gedrag, waarbij het de resterende iteraties bijhield om de planning aan te passen. Vroege generaties voerden ambitieuze architectonische veranderingen door, terwijl latere generaties zich concentreerden op conservatieve, stapsgewijze verfijningen.
Voor enterprise datateams die zich afvragen waar ze moeten beginnen, raadt Zhang aan zich te concentreren op taken waarbij succes ondubbelzinnig is. “Workflows die duidelijk gespecificeerd zijn en gemakkelijk te evalueren, vaak verifieerbare taken genoemd, zijn het beste startpunt”, zegt ze. “Dit opent over het algemeen nieuwe mogelijkheden voor meer verkennende prototyping, uitgebreidere data-analyse, uitgebreidere A/B-testen en (en) snellere feature-engineering.” Voor moeilijkere, niet-geverifieerde taken kunnen teams hyperagents gebruiken om eerst geleerde beoordelaars te ontwikkelen die de menselijke voorkeuren beter weerspiegelen, waardoor een brug wordt geslagen naar complexere domeinen.
De onderzoekers hebben gedeeld de code voor hyperagentenhoewel het is vrijgegeven onder een niet-commerciële licentie.
Waarschuwingen en toekomstige bedreigingen
De voordelen van hyperagenten brengen duidelijke afwegingen met zich mee. De onderzoekers benadrukken verschillende veiligheidsoverwegingen met betrekking tot systemen die zichzelf op steeds meer open manieren kunnen aanpassen.
Deze AI-systemen brengen het risico met zich mee dat ze veel sneller evolueren dan mensen kunnen controleren of interpreteren. Terwijl onderzoekers DGM-H binnen veiligheidsgrenzen hielden, zoals sandbox-omgevingen die zijn ontworpen om onbedoelde bijwerkingen te voorkomen, zijn deze initiële waarborgen feitelijk praktische implementatieblauwdrukken.
Zhang adviseert ontwikkelaars om resourcelimieten af te dwingen en de toegang tot externe systemen te beperken tijdens de zelfmodificatiefase. “Het belangrijkste principe is om experimenten en implementatie te scheiden: laat de agent verkennen en verbeteren binnen een gecontroleerde sandbox, terwijl je ervoor zorgt dat alle veranderingen die van invloed zijn op echte systemen zorgvuldig worden gevalideerd voordat ze worden toegepast”, zegt ze. Pas nadat de nieuw gewijzigde code de door de ontwikkelaar gedefinieerde correctheidscontroles heeft doorstaan, mag deze worden gepromoveerd naar een productie-instelling.
Een ander aanzienlijk gevaar is evaluatiegaming, waarbij de AI zijn statistieken verbetert zonder daadwerkelijke vooruitgang te boeken in de richting van het beoogde doel in de echte wereld. Omdat hyperagents worden aangestuurd door empirische evaluatiesignalen, kunnen ze autonoom strategieën ontdekken die blinde vlekken of zwakheden in de evaluatieprocedure zelf exploiteren om hun scores kunstmatig te verhogen. Om dit gedrag te voorkomen, moeten ontwikkelaars diverse, robuuste en periodiek vernieuwde evaluatieprotocollen implementeren, naast voortdurend menselijk toezicht.
Uiteindelijk zullen deze systemen de dagelijkse verantwoordelijkheden van menselijke ingenieurs verschuiven. Net zoals we niet elke bewerking die een rekenmachine uitvoert opnieuw berekenen, zullen toekomstige AI-orkestratie-ingenieurs de verbeteringslogica niet rechtstreeks schrijven, meent Zhang.
In plaats daarvan zullen zij de mechanismen ontwerpen voor het auditen en stresstesten van het systeem. “Naarmate zelfverbeterende systemen beter in staat worden gesteld, is de vraag niet langer alleen hoe de prestaties kunnen worden verbeterd, maar ook welke doelstellingen de moeite waard zijn om na te streven”, aldus Zhang. “In die zin evolueert de rol van het bouwen van systemen naar het vormgeven van de richting ervan.
