LinkedIn lanceert deze week zijn nieuwe, door AI aangedreven mensenzoeksysteem, na wat erg lang lijkt te hebben gewacht op wat een natuurlijk aanbod voor generatieve AI had moeten zijn.
Het komt drie jaar na de lancering van ChatGPT en zes maanden nadat LinkedIn zijn AI-aanbod voor het zoeken naar vacatures lanceerde. Voor technische leiders illustreert deze tijdlijn een belangrijke les voor het bedrijfsleven: het inzetten van generatieve AI in echte bedrijfsomgevingen is een uitdaging, vooral op een schaal van 1,3 miljard gebruikers. Het is een langzaam, brutaal proces van pragmatische optimalisatie.
Het volgende account is gebaseerd op verschillende exclusieve interviews met het LinkedIn-product- en engineeringteam achter de lancering.
Ten eerste, hier is hoe het product werkt: een gebruiker kan nu een zoekopdracht in natuurlijke taal typen, zoals: “Wie heeft kennis over het genezen van kanker?” in de zoekbalk van LinkedIn.
De oude zoekopdracht van LinkedIn, op basis van trefwoorden, zou zijn mislukt. Er zou alleen naar verwijzingen naar “kanker” zijn gezocht. Als een gebruiker geavanceerder wilde worden, had hij afzonderlijke, rigide zoekopdrachten op trefwoorden moeten uitvoeren voor ‘kanker’ en vervolgens ‘oncologie’ en handmatig moeten proberen de resultaten samen te voegen.
Het nieuwe AI-aangedreven systeem begrijpt echter de bedoeling van de zoektocht omdat de LLM onder de motorkap de semantische betekenis begrijpt. Het erkent bijvoorbeeld dat ‘kanker’ conceptueel gerelateerd is aan ‘oncologie’ en, nog minder direct, aan ‘genomics-onderzoek’. Als gevolg hiervan komt er een veel relevantere lijst van mensen naar voren, waaronder oncologieleiders en onderzoekers, ook al gebruiken hun profielen niet het exacte woord ‘kanker’.
Het systeem brengt deze relevantie ook in evenwicht nut. In plaats van alleen maar de beste oncoloog ter wereld te laten zien (die mogelijk een onbereikbare derdegraads connectie is), zal het ook afwegen wie in uw directe netwerk – zoals een eerstegraads connectie – ‘redelijk relevant’ is en kan dienen als een cruciale brug naar die expert.
Zie onderstaande video voor een voorbeeld.
Maar de belangrijkste les voor bedrijfsprofessionals is ongetwijfeld het ‘kookboek’ dat LinkedIn heeft ontwikkeld: een repliceerbare, uit meerdere fasen bestaande pijplijn van destillatie, co-design en meedogenloze optimalisatie. LinkedIn moest dit op het ene product perfectioneren voordat het op een ander product probeerde.
“Probeer niet te veel in één keer te doen”, schrijft Wenjing Zhang, VP Engineering van LinkedIn, in een post over de productlancering, en die vorige week ook met VentureBeat sprak in een interview. Ze merkt op dat een eerdere ‘uitgebreide ambitie’ om een uniform systeem te bouwen voor alle producten van LinkedIn ‘de vooruitgang tot stilstand bracht’.
In plaats daarvan concentreerde LinkedIn zich eerst op het winnen van één branche. Het succes van de eerder gelanceerde AI Job Search – wat ertoe leidde dat werkzoekenden geen vierjarige opleiding genoten 10% meer kans om aangenomen te wordenvolgens VP Product Engineering Erran Berger – leverde de blauwdruk.
Nu past het bedrijf die blauwdruk toe op een veel grotere uitdaging. “Het is één ding om dit voor tientallen miljoenen banen te kunnen doen”, vertelde Berger aan VentureBeat. “Het is iets heel anders om dit te doen met meer dan een miljard leden.”
Voor zakelijke AI-bouwers biedt de reis van LinkedIn een technisch draaiboek voor wat het is Eigenlijk wat er nodig is om van een succesvolle pilot over te stappen naar een product op miljardengebruikersschaal.
De nieuwe uitdaging: een grafiek met 1,3 miljard leden
Het product voor het zoeken naar werk creëerde een robuust recept waarop het nieuwe product voor het zoeken naar mensen kon voortbouwen, legt Berger uit.
Het recept begon met een ‘gouden dataset’ van slechts een paar honderd tot duizend echte query-profielparen, minutieus gescoord aan de hand van een gedetailleerd 20 tot 30 pagina’s tellend ‘productbeleid’-document. Om dit voor training op te schalen, gebruikte LinkedIn deze kleine gouden set om een groot funderingsmodel aan te zetten om een enorm volume te genereren synthetisch trainingsgegevens. Deze synthetische gegevens werden gebruikt om a 7 miljard parameters “Productbeleid” -model – een high-fidelity rechter van relevantie die te traag was voor live productie, maar perfect voor het aanleren van kleinere modellen.
De ploeg stuitte echter al vroeg op een muur. Zes tot negen maanden lang worstelden ze met het trainen van één enkel model dat een evenwicht kon vinden tussen strikte beleidsnaleving (relevantie) en signalen van gebruikersbetrokkenheid. Het ‘aha-moment’ kwam toen ze beseften dat ze het probleem moesten oplossen. Ze hebben het 7B-beleidsmodel gedestilleerd tot een 1.7B lerarenmodel uitsluitend gericht op relevantie. Vervolgens koppelden ze het aan afzonderlijke lerarenmodellen die waren getraind om specifieke acties van leden te voorspellen, zoals sollicitaties voor het banenproduct, of verbinding maken en volgen voor het zoeken naar mensen. Dit ‘multi-leraar’-ensemble produceerde zachte waarschijnlijkheidsscores die het uiteindelijke studentenmodel leerde na te bootsen via KL-divergentieverlies.
De resulterende architectuur werkt als een pijplijn in twee fasen. Eerst een grotere 8B parametermodel zorgt voor breed ophalen en werpt een breed net uit om kandidaten uit de grafiek te trekken. Vervolgens neemt het sterk gedestilleerde studentenmodel het over voor een fijnmazige rangschikking. Terwijl het product voor het zoeken naar werk met succes werd geïmplementeerd a 0,6 miljard (600 miljoen) parameter student, vereiste het nieuwe product voor het zoeken naar mensen een nog agressievere compressie. Zoals Zhang opmerkt, heeft het team hun nieuwe studentenmodel teruggebracht van 440 miljoen naar slechts 440 miljoen 220M-parameterswaarmee de noodzakelijke snelheid voor 1,3 miljard gebruikers wordt bereikt met minder dan 1% relevantieverlies.
Maar door dit toe te passen op mensenonderzoek werd de oude architectuur doorbroken. Het nieuwe probleem omvatte niet alleen rangschikking maar ook ophalen.
“Een miljard platen,” zei Berger, is een “ander beest.”
De eerdere ophaalstack van het team was gebouwd op CPU’s. Om aan de nieuwe schaal en de latentie-eisen van een ‘pittige’ zoekervaring te kunnen voldoen, moest het team de indexering verplaatsen naar GPU-gebaseerde infrastructuur. Dit was een fundamentele architectonische verschuiving waarvoor het product voor het zoeken naar werk niet nodig was.
Organisatorisch gezien profiteerde LinkedIn van meerdere benaderingen. Een tijdlang had LinkedIn twee afzonderlijke teams — zoeken naar werk en zoeken naar mensen — proberen het probleem parallel op te lossen. Maar toen het team voor het zoeken naar werk eenmaal doorbrak met behulp van de beleidsgestuurde destillatiemethode, kwamen Berger en zijn leiderschapsteam tussenbeide. Ze brachten de architecten van de zoektocht naar werk over — productleider Rohan Rajiv en technisch leider Wenjing Zhang — om hun ‘kookboek’ rechtstreeks naar het nieuwe domein te transplanteren.
Distilleren voor een doorvoerwinst van 10x
Nu het ophaalprobleem was opgelost, stond het team voor de uitdaging op het gebied van rangschikking en efficiëntie. Hier werd het kookboek aangepast met nieuwe, agressieve optimalisatietechnieken.
Zhang’s technische post (Ik zal de link invoegen zodra deze live gaat) biedt de specifieke details die ons publiek van AI-ingenieurs zal waarderen. Een van de belangrijkste optimalisaties was de invoergrootte.
Om het model te voeden trainde het team een andere LLM met versterkend leren (RL) voor één doel: de invoercontext samenvatten. Dit “samenvattings”-model kon de invoergrootte van het model met 20-voudig met minimaal informatieverlies.
Het gecombineerde resultaat van het 220M-parametermodel en de 20x inputreductie? A 10x hogere rankingdoorvoerwaardoor het team het model efficiënt kan aanbieden aan zijn enorme gebruikersbasis.
Pragmatisme boven hype: tools bouwen, geen agenten
Tijdens onze discussies was Berger onvermurwbaar over iets anders dat de aandacht van mensen zou kunnen trekken: de echte waarde voor ondernemingen van vandaag ligt in het perfectioneren van aanbevelingssystemen, niet in het najagen van een ‘agentische hype’. Hij weigerde ook te praten over de specifieke modellen die het bedrijf voor de zoekopdrachten gebruikte, wat suggereert dat het er bijna niet toe doet. Het bedrijf selecteert modellen op basis van het model dat zij het meest efficiënt vindt voor de taak.
De nieuwe AI-aangedreven zoektocht naar mensen is een uiting van de filosofie van Berger dat het het beste is om eerst het aanbevelingssysteem te optimaliseren. De architectuur omvat een nieuwe ‘intelligente queryrouteringslaag’, zoals Berger uitlegde, die zelf door LLM wordt aangedreven. Deze router beslist pragmatisch of de zoekopdracht van een gebruiker – zoals ‘vertrouwensexpert’ – naar de nieuwe semantische, natuurlijke taalstapel moet gaan of naar de oude, betrouwbare lexicale zoekactie.
Dit hele, complexe systeem is ontworpen als een ‘hulpmiddel’ dat a toekomst agent zal gebruiken, niet de agent zelf.
“Agentic-producten zijn slechts zo goed als de hulpmiddelen die ze gebruiken om taken voor mensen uit te voeren”, aldus Berger. “Je kunt het beste redeneermodel ter wereld hebben, en als je een agent probeert te gebruiken om mensen te zoeken, maar de mensenzoekmachine is niet erg goed, dan zul je dat niet kunnen waarmaken.”
Nu de mensenzoekfunctie beschikbaar is, suggereerde Berger dat het bedrijf op een dag agenten zal aanbieden om het te gebruiken. Maar hij gaf geen details over de timing. Hij zei ook dat het recept dat wordt gebruikt voor het zoeken naar banen en mensen, zal worden verspreid over de andere producten van het bedrijf.
Voor bedrijven die hun eigen AI-roadmaps bouwen, is het draaiboek van LinkedIn duidelijk:
-
Wees pragmatisch: Probeer de oceaan niet te koken. Win één verticale, ook al duurt het 18 maanden.
-
Codificeer het “kookboek”: Zet die overwinning om in een herhaalbaar proces (beleidsdocumenten, destillatiepijplijnen, co-design).
-
Optimaliseer meedogenloos: De echte 10x winst komt na het initiële model, in snoeien, distillatie en creatieve optimalisaties zoals een door RL getrainde samenvatter.
De reis van LinkedIn laat zien dat voor echte AI voor ondernemingen de nadruk op specifieke modellen of coole agentische systemen op de achtergrond moet komen te staan. Het duurzame, strategische voordeel komt voort uit het beheersen van de pijpleiding – het ‘AI-native’ kookboek van co-design, distillatie en meedogenloze optimalisatie.
(Noot van de redactie: we zullen binnenkort een volledige podcast publiceren met Erran Berger van LinkedIn, waarin dieper op deze technische details wordt ingegaan, op de VentureBeat-podcastfeed.)
