Dit zoals verteld-essay is gebaseerd op een gesprek met Prakhar Agarwal, een toegepast onderzoeker bij Meta Superintelligence Labs die eerder bij OpenAI werkte. Het volgende is aangepast voor lengte en duidelijkheid. Business Insider heeft zijn arbeids- en academische geschiedenis geverifieerd.
Mijn dagelijkse werkzaamheden variëren sterk, afhankelijk van de fase van het project waarin we ons bevinden en wat de onmiddellijke resultaten zijn.
Bij Open AI en Meta, je hebt deze mijlpalen – bijvoorbeeld een grote training of een leerronde voor versterking – in 10 maanden. Het wordt intens als we de deadline naderen.
Welk werk ik ook identificeer, het is altijd gebaseerd op de huidige iteratie van het model. Als ik zeg dat het model niet goed is in X en mijn oplossing helpt X op te lossen, dan is deze gebaseerd op die versie van het model. Als ik de deadline mis, weet ik niet of de volgende versie dezelfde problemen zal hebben of niet.
Als we verder van die deadline verwijderd zijn, werken we vooral aan evaluaties en proberen we faalgevallen en problemen met het bestaande model te vinden.
Het werk is superdynamisch. Soms denk je dat iets supergemakkelijk is en dat je het binnen een dag voor elkaar krijgt. Andere keren is het het tegenovergestelde: omdat er zoveel onbekenden zijn, kan het een week duren.
Werken bij grenslaboratoria voelt heel anders dan Big Tech
Waar we in deze fundamentele laboratoria door worden beperkt, is computergebruik. Het is niet zoals Big Tech of andere plaatsen waar je een aantal mensen kunt blijven inhuren en ze kleine stukjes van een taak kunt laten uitvoeren.
Iedereen heeft rekenkracht nodig om daadwerkelijk iets te doen, en zodra je veel mensen hebt, wordt de rekenkracht verdeeld, zodat niemand nog iets kan doen.
Je wilt ook communicatie met hoge bandbreedte tussen belanghebbenden; je wilt geen tien verschillende communicatielagen. De iteratiesnelheid is veel hoger. Deze kerngroepen zijn meestal veel kleiner en strakker.
Het idee van een ‘team’ is ook erg vloeiend. Iedereen heeft zijn eigen projecten, maar ze werken samen met anderen om aan gezamenlijke projecten te werken. Bij Meta en OpenAI zijn er veel hogere mensen en niet veel junior mensen, dus iedereen heeft een behoorlijke omvang van projecten.
Soms werk ik meer samen met mensen buiten mijn directe team dan daarbinnen. Je reikwijdte is niet beperkt tot vier of vijf personen. Je reikwijdte is het probleem dat je probeert op te lossen.
Communicatie en diep gaan met coderen zijn de sleutelwoorden
Communicatie is het belangrijkste aspect in deze labs. Omdat veel dingen niet gedocumenteerd zijn, moet je kunnen verwoorden wat je doet, waarom je het doet, wat de volgende stappen zijn, je resultaten kunnen overbrengen en feedback op je werk kunnen krijgen.
Comfortabel worden door de code gaan en het identificeren van de details is een van de belangrijkste vaardigheden die ik heb gezien. De snelheid waarmee de code evolueert is veel sneller dan de documentatie. Als je ergens mee vastloopt, lees dan de code en probeer het zelf te begrijpen.
Als u enig inzicht heeft in wat er in verschillende branches gebeurt, krijgt u ook een goed overzicht van de ideeën en benaderingen die mensen proberen. Omdat alles super gerelateerd is, kun je daar misschien iets van leren of manieren vinden om bij te dragen.
Het grootste voordeel van deze laboratoria is dat ze weten wat niet werkt
Een onderzoekspaper vertelt je: “Ik heb X, Y en Z in deze specifieke volgorde gedaan, en het werkt.” Maar wat je niet ziet is dat ik, voordat ik X, Y en Z deed, vijftig verschillende dingen probeerde die niet werkten – en daar praten mensen niet over.
Dat is voor mij de echte kracht van deze stichtingslaboratoria. Door al het experimenteren en al het werk dat al is gedaan, hebben de teams hele sterke intuïties opgebouwd. Ze weten welke dingen niet zullen werken of niet zullen worden geschaald, en welke wel goed zullen werken.
Mensen van buitenaf zijn vaak op zoek naar de voordelen, maar ze missen het punt dat zelfs de missers zeer waardevol zijn.
Advies voor wie in toplabs wil werken
Ik heb geen goed antwoord op het omgaan met burn-out. Je gaat eigenlijk gewoon met de stroom mee. Je werkt op het scherpst van de snede, en om het simpel te zeggen: als je hier wilt zijn, kun je er niet dagelijks over nadenken.
Wat ik tegen mijn jongere zelf zou zeggen, is dat ze zich op haar gemak moet voelen bij het verkennen van nieuwe wegen en nieuwe ideeën. Wat ik heb gezien is dat we proberen onze sterke punten te benutten of in een deterministische omgeving blijven waarvan we weten dat het goed zal gaan. Maar in deze domeinen gaat de snelheid zo snel dat je moet kunnen overschakelen naar een nieuw onderwerp.
Bouw de spier op om te kunnen omgaan met het feit dat je in iets compleet nieuws wordt gegooid. Soms is het meer psychologisch dan een vaardigheidsprobleem.
Heeft u een verhaal te vertellen over werken bij een top AI-lab? Neem contact op met deze verslaggever via cmlee@businessinsider.com.
