De eerste jaren van de loopbaan van faculteitsleden zijn een vormende en opwindende tijd waarin een stevige basis kan worden gelegd die helpt bij het bepalen van het traject van de studies van onderzoekers. Dit omvat het opbouwen van een onderzoeksteam, dat innovatieve ideeën en leiding, creatieve medewerkers en betrouwbare middelen vereist.
Voor een groep MIT-faculteiten die met en aan kunstmatige intelligentie werkt, heeft vroege betrokkenheid bij het MIT-IBM Watson AI Lab via projecten een belangrijke rol gespeeld bij het bevorderen van ambitieuze onderzoekslijnen en het vormgeven van productieve onderzoeksgroepen.
Momentum opbouwen
“Het MIT-IBM Watson AI Lab is enorm belangrijk geweest voor mijn succes, vooral toen ik begon”, zegt Jacob Andreas – universitair hoofddocent bij de afdeling Elektrotechniek en Computerwetenschappen (EECS), lid van het MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), en onderzoeker bij het MIT-IBM Watson AI Lab – die natuurlijke taalverwerking (NLP) bestudeert. Kort nadat hij bij MIT kwam werken, startte Andreas zijn eerste grote project via het MIT-IBM Watson AI Lab, waarbij hij werkte aan taalrepresentatie en gestructureerde data-augmentatiemethoden voor talen met weinig hulpmiddelen. “Het was echt de reden dat ik mijn laboratorium kon lanceren en studenten kon gaan werven.”
Andreas merkt op dat dit gebeurde tijdens een “cruciaal moment” toen het NLP-veld aanzienlijke verschuivingen onderging om taalmodellen te begrijpen – een taak die aanzienlijk meer rekenkracht vereiste, die beschikbaar was via het MIT-IBM Watson AI Lab. “Ik heb het gevoel dat het soort werk dat we in het kader van dat (eerste) project hebben gedaan, en in samenwerking met al onze mensen aan de kant van IBM, behoorlijk behulpzaam was bij het uitzoeken hoe we door die transitie heen moesten navigeren.” Bovendien kon de Andreas-groep meerjarige projecten uitvoeren op het gebied van pre-training, versterkend leren en kalibratie voor betrouwbare antwoorden, dankzij de computerbronnen en expertise binnen de MIT-IBM-gemeenschap.
Voor verschillende andere faculteitsleden bleek tijdige deelname aan het MIT-IBM Watson AI Lab ook zeer voordelig. “Het hebben van zowel intellectuele ondersteuning als het kunnen benutten van een aantal van de computationele bronnen die binnen MIT-IBM aanwezig zijn, dat is volledig transformerend en ongelooflijk belangrijk geweest voor mijn onderzoeksprogramma”, zegt Yoon Kim – universitair hoofddocent bij EECS, CSAIL en onderzoeker bij het MIT-IBM Watson AI Lab – die ook zijn onderzoeksveld het traject heeft zien veranderen. Voordat hij bij MIT kwam, ontmoette Kim zijn toekomstige medewerkers tijdens een postdoctorale positie bij MIT-IBM, waar hij de ontwikkeling van neurosymbolische modellen nastreefde; nu ontwikkelt Kim’s team methoden om de mogelijkheden en efficiëntie van grote taalmodellen (LLM) te verbeteren.
Eén factor die hij noemt die tot het succes van zijn groep heeft geleid, is een naadloos onderzoeksproces met intellectuele partners. Hierdoor kon zijn MIT-IBM-team een project aanvragen, op grote schaal experimenteren, knelpunten identificeren, technieken valideren en zich waar nodig aanpassen om geavanceerde methoden te ontwikkelen voor mogelijke opname in toepassingen in de echte wereld. “Dit is een impuls voor nieuwe ideeën, en dat is volgens mij het unieke aan deze relatie”, zegt Kim.
Het samenbrengen van expertise
De aard van het MIT-IBM Watson AI Lab is dat het niet alleen onderzoekers op het gebied van AI samenbrengt om het onderzoek te versnellen, maar ook werk uit verschillende disciplines combineert. Laboratoriumonderzoeker en MIT universitair hoofddocent bij EECS en CSAIL Justin Solomon beschrijft zijn onderzoeksgroep als opgroeiend met het laboratorium, en de samenwerking als “cruciaal … vanaf het begin tot nu toe.” Het onderzoeksteam van Solomon richt zich op theoretisch georiënteerde, geometrische problemen die betrekking hebben op computergraphics, visie en machinaal leren.
Solomon crediteert de MIT-IBM-samenwerking met het uitbreiden van zijn vaardigheden en de toepassingen van het werk van zijn groep – een gevoel dat ook wordt gedeeld door laboratoriumonderzoekers Chuchu Fan, universitair hoofddocent luchtvaart en ruimtevaart en lid van het Laboratorium voor Informatie- en Beslissingssystemen, en Faez Ahmed, universitair hoofddocent werktuigbouwkunde. “Zij (IBM) zijn in staat om een aantal van deze echt rommelige problemen uit de techniek te vertalen naar het soort wiskundige middelen waar ons team aan kan werken, en zo de cirkel rond te maken”, zegt Solomon. Voor Solomon omvat dit onder meer het samenvoegen van verschillende AI-modellen die zijn getraind op verschillende datasets voor afzonderlijke taken. “Ik denk dat dit allemaal heel opwindende ruimtes zijn”, zegt hij.
“Ik denk dat deze vroege carrièreprojecten (met het MIT-IBM Watson AI Lab) grotendeels mijn eigen onderzoeksagenda hebben gevormd”, zegt Fan, wiens onderzoek de kruispunten is van robotica, controletheorie en veiligheidskritische systemen. Net als Kim, Solomon en Andreas begonnen Fan en Ahmed projecten via de samenwerking in het eerste jaar dat ze dat bij MIT konden doen. Beperkingen en optimalisatie bepalen de problemen die Fan en Ahmed aanpakken, en vereisen daarom diepgaande domeinkennis buiten AI.
Door samen te werken met het MIT-IBM Watson AI Lab kon de groep van Fan formele methoden combineren met natuurlijke taalverwerking. Volgens haar kon het team overstappen van het ontwikkelen van autoregressieve taak- en bewegingsplanning voor robots naar het creëren van op LLM gebaseerde agenten voor reisplanning, besluitvorming en verificatie. “Dat werk was de eerste verkenning van het gebruik van een LLM om elke natuurlijke taal in vrije vorm te vertalen naar een specificatie die een robot kan begrijpen en uitvoeren. Dat is iets waar ik erg trots op ben, en op dat moment erg moeilijk”, zegt Fan. Bovendien heeft haar team door gezamenlijk onderzoek de LLM-redenering kunnen verbeteren – werk dat “onmogelijk zou zijn zonder de steun van IBM”, zegt ze.
Via het laboratorium faciliteerde de samenwerking van Faez Ahmed de ontwikkeling van machinale leermethoden om het ontdekken en ontwerpen van complexe mechanische systemen te versnellen. Hun Linkages-werk maakt bijvoorbeeld gebruik van ‘generatieve optimalisatie’ om technische problemen op te lossen op een manier die zowel datagestuurd als nauwkeurig is; meer recentelijk passen ze multimodale gegevens en LLM’s toe op computerondersteund ontwerp. Ahmed stelt dat AI vaak wordt toegepast op problemen die al oplosbaar zijn, maar baat zouden kunnen hebben bij een grotere snelheid of efficiëntie; uitdagingen – zoals mechanische koppelingen die als ‘bijna onoplosbaar’ werden beschouwd – liggen nu echter binnen handbereik. “Ik denk dat dit absoluut het kenmerk is (van ons MIT-IBM-team)”, zegt Ahmed, terwijl hij de prestaties van zijn MIT-IBM-groep prijst, die mede wordt geleid door Akash Srivastava en Dan Gutfreund van IBM.
Wat begon als een eerste samenwerking voor elk lid van de MIT-faculteit is uitgegroeid tot een duurzame intellectuele relatie, waarbij beide partijen ‘enthousiast zijn over de wetenschap’ en ‘studentgedreven’, voegt Ahmed toe. Alles bij elkaar spreken de ervaringen van Jacob Andreas, Yoon Kim, Justin Solomon, Chuchu Fan en Faez Ahmed over de impact die een duurzame, praktische relatie tussen de academische wereld en de industrie kan hebben op het opzetten van onderzoeksgroepen en ambitieuze wetenschappelijke verkenningen.
