Veel technische uitdagingen komen neer op dezelfde hoofdpijn: te veel knoppen om aan te draaien en te weinig kansen om ze te testen. Of het nu gaat om het afstemmen van een elektriciteitsnet of het ontwerpen van een veiliger voertuig, elke evaluatie kan kostbaar zijn en er kunnen honderden variabelen zijn die er toe kunnen doen.
Denk aan het ontwerp van autoveiligheid. Ingenieurs moeten duizenden onderdelen integreren, en veel ontwerpkeuzes kunnen van invloed zijn op hoe een voertuig presteert bij een botsing. Klassieke optimalisatietools kunnen moeite krijgen bij het zoeken naar de beste combinatie.
MIT-onderzoekers hebben een nieuwe aanpak ontwikkeld die heroverweegt hoe een klassieke methode, bekend als Bayesiaanse optimalisatie, kan worden gebruikt om problemen met honderden variabelen op te lossen. Bij tests op realistische benchmarks in technische stijl, zoals de optimalisatie van energiesystemen, vond de aanpak tien tot honderd keer sneller topoplossingen dan veelgebruikte methoden.
Hun techniek maakt gebruik van een basismodel dat is getraind op tabelgegevens en dat automatisch de variabelen identificeert die het belangrijkst zijn voor het verbeteren van de prestaties, waarbij het proces wordt herhaald om steeds betere oplossingen te vinden. Foundation-modellen zijn enorme kunstmatige-intelligentiesystemen die zijn getraind op enorme, algemene datasets. Hierdoor kunnen ze zich aanpassen aan verschillende toepassingen.
Het tabelvormige basismodel van de onderzoekers hoeft niet voortdurend te worden bijgeschoold terwijl het naar een oplossing toewerkt, waardoor de efficiëntie van het optimalisatieproces toeneemt. De techniek levert ook grotere versnellingen op voor ingewikkelder problemen, en kan dus vooral nuttig zijn bij veeleisende toepassingen zoals de ontwikkeling van materialen of de ontdekking van geneesmiddelen.
“Moderne AI- en machine-learning-modellen kunnen de manier waarop ingenieurs en wetenschappers complexe systemen creëren fundamenteel veranderen. We hebben één algoritme bedacht dat niet alleen hoogdimensionale problemen kan oplossen, maar ook herbruikbaar is, zodat het op veel problemen kan worden toegepast zonder dat alles helemaal opnieuw hoeft te beginnen”, zegt Rosen Yu, een afgestudeerde student in computationele wetenschappen en techniek en hoofdauteur van een artikel over deze techniek.
Yu wordt op het artikel vergezeld door Cyril Picard, een voormalig MIT-postdoc en onderzoekswetenschapper, en Faez Ahmed, universitair hoofddocent werktuigbouwkunde en kernlid van het MIT Center for Computational Science and Engineering. Het onderzoek zal worden gepresenteerd op de International Conference on Learning Representations.
Een beproefde methode verbeteren
Wanneer wetenschappers een probleem met meerdere facetten proberen op te lossen, maar over dure methoden beschikken om succes te evalueren, zoals het crashtesten van een auto om te weten hoe goed elk ontwerp is, gebruiken ze vaak een beproefde methode die Bayesiaanse optimalisatie wordt genoemd. Deze iteratieve methode vindt de beste configuratie voor een gecompliceerd systeem door een surrogaatmodel te bouwen dat helpt bij het inschatten van wat er vervolgens moet worden onderzocht, terwijl rekening wordt gehouden met de onzekerheid van de voorspellingen ervan.
Maar het surrogaatmodel moet na elke iteratie opnieuw worden getraind, wat snel rekenkundig onhandelbaar kan worden als de ruimte voor mogelijke oplossingen erg groot is. Bovendien moeten wetenschappers elke keer dat ze een ander scenario willen aanpakken, een nieuw model vanaf het begin opbouwen.
Om beide tekortkomingen aan te pakken, gebruikten de MIT-onderzoekers een generatief AI-systeem dat bekend staat als een tabelvormig basismodel als het surrogaatmodel binnen een Bayesiaans optimalisatie-algoritme.
“Een tabelvormig basismodel lijkt op een ChatGPT voor spreadsheets. De invoer en uitvoer van deze modellen zijn gegevens in tabelvorm, die in het technische domein veel gebruikelijker zijn om te zien en te gebruiken dan taal”, zegt Yu.
Net als grote taalmodellen zoals ChatGPT, Claude en Gemini is het model vooraf getraind op een enorme hoeveelheid tabelgegevens. Dit maakt het goed uitgerust om een reeks voorspellingsproblemen aan te pakken. Bovendien kan het model as-is worden ingezet, zonder dat er enige herscholing nodig is.
Om hun systeem nauwkeuriger en efficiënter te maken voor optimalisatie, gebruikten de onderzoekers een truc waarmee het model kenmerken van de ontwerpruimte kan identificeren die de grootste impact op de oplossing zullen hebben.
“Een auto heeft misschien wel 300 ontwerpcriteria, maar ze zijn niet allemaal de belangrijkste drijfveer voor het beste ontwerp als je bepaalde veiligheidsparameters probeert te verbeteren. Ons algoritme kan op slimme wijze de meest kritische kenmerken selecteren waarop we ons willen concentreren”, zegt Yu.
Dit gebeurt door gebruik te maken van een tabelvormig basismodel om te schatten welke variabelen (of combinaties van variabelen) de uitkomst het meest beïnvloeden.
Vervolgens wordt de zoektocht gericht op die variabelen met een grote impact, in plaats van tijd te verspillen aan het in gelijke mate onderzoeken van alles. Als bijvoorbeeld de omvang van de kreukelzone aan de voorkant aanzienlijk groter werd en de veiligheidsbeoordeling van de auto verbeterde, speelde dat kenmerk waarschijnlijk een rol bij de verbetering.
Grotere problemen, betere oplossingen
Een van hun grootste uitdagingen was het vinden van het beste tabellarische funderingsmodel voor deze taak, zegt Yu. Vervolgens moesten ze het zo verbinden met een Bayesiaans optimalisatie-algoritme dat het de meest opvallende ontwerpkenmerken kon identificeren.
“Het vinden van de meest prominente dimensie is een bekend probleem in de wiskunde en informatica, maar het bedenken van een manier die gebruik maakte van de eigenschappen van een tabellarisch funderingsmodel was een echte uitdaging”, zegt Yu.
Nu het algoritmische raamwerk aanwezig was, testten de onderzoekers hun methode door deze te vergelijken met vijf geavanceerde optimalisatiealgoritmen.
Voor 60 benchmarkproblemen, waaronder realistische situaties zoals het ontwerp van het elektriciteitsnet en het testen van auto-ongelukken, vond hun methode consequent de beste oplossing tussen 10 en 100 keer sneller dan de andere algoritmen.
“Wanneer een optimalisatieprobleem steeds meer dimensies krijgt, komt ons algoritme echt tot zijn recht”, voegde Yu eraan toe.
Maar hun methode presteerde niet beter dan de basislijnen op alle problemen, zoals de planning van robotpaden. Dit geeft waarschijnlijk aan dat het scenario niet goed gedefinieerd was in de trainingsgegevens van het model, zegt Yu.
In de toekomst willen de onderzoekers methoden bestuderen die de prestaties van tabellarische funderingsmodellen kunnen verbeteren. Ze willen hun techniek ook toepassen op problemen met duizenden of zelfs miljoenen dimensies, zoals het ontwerp van een marineschip.
“Op een hoger niveau wijst dit werk op een bredere verschuiving: het gebruik van basismodellen niet alleen voor perceptie of taal, maar als algoritmische motoren binnen wetenschappelijke en technische hulpmiddelen, waardoor klassieke methoden zoals Bayesiaanse optimalisatie kunnen worden opgeschaald naar regimes die voorheen onpraktisch waren”, zegt Ahmed.
“De aanpak die in dit werk wordt gepresenteerd, waarbij gebruik wordt gemaakt van een vooraf getraind basismodel in combinatie met hoogdimensionale Bayesiaanse optimalisatie, is een creatieve en veelbelovende manier om de zware gegevensvereisten van op simulatie gebaseerd ontwerp te verminderen. Over het geheel genomen is dit werk een praktische en krachtige stap in de richting van het toegankelijker en gemakkelijker toepasbaar maken van geavanceerde ontwerpoptimalisatie in de praktijk”, zegt Wei Chen, de Wilson-Cook hoogleraar Engineering Design en voorzitter van de afdeling Werktuigbouwkunde aan de Northwestern University, die niet bij dit onderzoek betrokken was.
