LinkedIn is toonaangevend op het gebied van AI-aanbevelingssystemen en heeft deze de afgelopen vijftien jaar ontwikkeld. Maar om tot een next-gen-aanbevelingsstapel voor de werkzoekenden van morgen te komen, was een geheel nieuwe techniek nodig. Het bedrijf moest verder kijken dan kant-en-klare modellen om nauwkeurigheid, latentie en efficiëntie van het volgende niveau te bereiken.
“Er was gewoon geen mogelijkheid dat we dat zouden kunnen doen door erom te vragen”, zegt Erran Berger, VP product engineering bij LinkedIn, in een nieuwe Voorbij de piloot podcast. “We hebben dat niet eens geprobeerd voor aanbevelingssystemen van de volgende generatie, omdat we beseften dat dit een non-starter was.”
In plaats daarvan ging zijn team een zeer gedetailleerd productbeleidsdocument ontwikkelen om een aanvankelijk enorm model met 7 miljard parameters te verfijnen; Dat werd vervolgens verder gedestilleerd in aanvullende leraren- en leerlingmodellen, geoptimaliseerd voor honderden miljoenen parameters.
De techniek heeft een herhaalbaar kookboek opgeleverd dat nu wordt hergebruikt in de AI-producten van LinkedIn.
“Het adopteren van dit evaluatieproces van begin tot eind zal leiden tot een substantiële kwaliteitsverbetering van de likes die we hier bij LinkedIn waarschijnlijk al jaren niet meer hebben gezien”, zegt Berger.
Waarom multi-docent distillatie een ‘doorbraak’ was voor LinkedIn
Berger en zijn team wilden een LLM bouwen die individuele functievragen, kandidaatprofielen en functiebeschrijvingen in realtime kon interpreteren, en op een manier die het productbeleid van LinkedIn zo nauwkeurig mogelijk weerspiegelde.
In samenwerking met het productmanagementteam van het bedrijf hebben de ingenieurs uiteindelijk een document van 20 tot 30 pagina’s opgesteld waarin functiebeschrijvingen en profielparen “over vele dimensies heen” werden gescoord.
“We hebben hier heel veel iteraties op gedaan”, zegt Berger. Dat productbeleidsdocument werd vervolgens gecombineerd met een ‘gouden dataset’ die duizenden paren zoekopdrachten en profielen omvatte; Het team voerde dit in ChatGPT in tijdens het genereren en experimenteren van gegevens, waardoor het model in de loop van de tijd scoreparen leerde leren en uiteindelijk een veel grotere synthetische dataset genereerde om een lerarenmodel met 7 miljard parameters te trainen.
Berger zegt echter dat het niet voldoende is om een LLM alleen op het gebied van productbeleid in productie te hebben. “Uiteindelijk is het een aanbevelingssysteem en moeten we een zekere mate van klikvoorspelling en personalisatie uitvoeren.”
Daarom gebruikte zijn team dat initiële, op productbeleid gerichte lerarenmodel om een tweede lerarenmodel te ontwikkelen dat gericht was op het voorspellen van klikken. Met behulp van de twee destilleerden ze verder een parametermodel van 1,7 miljard voor trainingsdoeleinden. Dat uiteindelijke studentenmodel werd ‘vele, vele trainingen’ doorlopen en ‘op elk punt’ geoptimaliseerd om kwaliteitsverlies tot een minimum te beperken, zegt Berger.
Dankzij deze destillatietechniek met meerdere docenten kon het team ‘veel affiniteit bereiken’ met het oorspronkelijke productbeleid en ‘land’-klikvoorspellingen doen, zegt hij. Ze waren ook in staat om het trainingsproces voor de student te ‘modulariseren en te componenteneren’.
Beschouw het in de context van een chatagent met twee verschillende lerarenmodellen: het ene traint de agent in nauwkeurigheid in antwoorden, het andere in toon en hoe deze moet communiceren. Deze twee dingen zijn heel verschillende, maar toch cruciale doelstellingen, merkt Berger op.
“Door ze nu te mixen, krijg je betere resultaten, maar kun je ze ook afzonderlijk herhalen”, zegt hij. “Dat was voor ons een doorbraak.”
Veranderen hoe teams samenwerken
Berger zegt dat hij het belang van een productbeleid en een iteratief evaluatieproces niet kan onderschatten.
Om een “echt, heel goed productbeleid” te krijgen, moet de domeinexpertise van productmanagers worden vertaald naar een uniform document. Historisch gezien, zo merkt Berger op, was het productmanagementteam zeer gefocust op strategie en gebruikerservaring, waardoor de iteratie van modellen aan ML-ingenieurs werd overgelaten. Nu werken de twee teams echter samen om “in te bellen” en een op elkaar afgestemd lerarenmodel te creëren.
“De manier waarop productmanagers nu met machine learning-ingenieurs werken, is heel anders dan alles wat we eerder hebben gedaan”, zegt hij. “Het is nu een blauwdruk voor vrijwel alle AI-producten die we op LinkedIn maken.”
Bekijk de volledige podcast om meer te horen over:
-
Hoe LinkedIn elke stap van het R&D-proces optimaliseerde om de snelheid te ondersteunen, wat leidde tot echte resultaten met dagen of uren in plaats van weken;
-
Waarom teams pijplijnen moeten ontwikkelen voor plug-in en experimenten en verschillende modellen moeten uitproberen om flexibiliteit te ondersteunen;
-
Het voortdurende belang van traditioneel technisch debuggen.
Je kunt ook luisteren en je abonneren Voorbij de piloot op Spotify, Appel of waar u uw podcasts ook vandaan haalt.
