De feed van LinkedIn bereikt meer dan 1,3 miljard leden – en de architectuur erachter heeft geen gelijke tred gehouden. Het systeem had vijf afzonderlijke ophaalpijplijnen verzameld, elk met zijn eigen infrastructuur en optimalisatielogica, die verschillende delen van wat gebruikers mogelijk zouden willen zien, bedienden. Ingenieurs van het bedrijf hebben het afgelopen jaar dit uit elkaar gehaald en vervangen door één enkel LLM-gebaseerd systeem. Het resultaat, zegt LinkedIn, is een feed die de professionele context nauwkeuriger begrijpt en minder kost om op grote schaal te gebruiken.
Het herontwerp raakte drie lagen van de stapel: hoe inhoud wordt opgehaald, hoe deze wordt gerangschikt en hoe de onderliggende rekenkracht wordt beheerd. Tim Jurka, vice-president engineering bij LinkedIn, vertelde VentureBeat dat het team het afgelopen jaar honderden tests heeft uitgevoerd voordat ze een mijlpaal bereikten waarbij, naar eigen zeggen, een groot deel van de infrastructuur opnieuw werd uitgevonden.
“Vertrekkend van ons hele systeem voor het ophalen van inhoud, zijn we overgestapt op het gebruik van echt grootschalige LLM’s om de inhoud op LinkedIn veel rijker te begrijpen en deze op een veel persoonlijkere manier aan leden te kunnen koppelen”, aldus Jurka. “Tot aan de manier waarop we inhoud rangschikken, met behulp van hele, hele grote reeksmodellen, generatieve aanbevelingen en het combineren van dat end-to-end-systeem om dingen veel relevanter en betekenisvoller te maken voor leden.”
Eén feed, 1,3 miljard leden
De kernuitdaging is volgens Jurka tweezijdig: LinkedIn moet de professionele interesses van leden – hun titel, vaardigheden, branche – afstemmen op hun daadwerkelijke gedrag in de loop van de tijd, en het moet inhoud naar boven halen die verder gaat dan wat hun directe netwerk post. Deze twee signalen trekken vaak in verschillende richtingen.
Mensen gebruiken LinkedIn op verschillende manieren: sommigen willen verbinding maken met anderen in hun branche, anderen geven prioriteit aan thought leadership, en werkzoekenden en recruiters gebruiken het om kandidaten te vinden.
Hoe LinkedIn vijf pipelines verenigde in één
LinkedIn heeft meer dan 15 jaar besteed aan het bouwen van AI-gestuurde aanbevelingssystemen, waaronder eerder werk op het gebied van het zoeken naar werk en het zoeken naar mensen. De feed van LinkedIn, degene die je begroet wanneer je de website opent, is gebouwd op een heterogene architectuur, aldus het bedrijf in een blogpost. Inhoud die aan gebruikers werd aangeboden, kwam uit verschillende bronnen, waaronder een chronologische index van het netwerk van een gebruiker, geografische trending onderwerpen, op interesses gebaseerd filteren, branchespecifieke inhoud en andere op insluiting gebaseerde systemen.
Het bedrijf zei dat deze methode betekende dat elke bron zijn eigen infrastructuur en optimalisatiestrategie had. Maar terwijl het werkte, stegen de onderhoudskosten enorm. Jurka zei dat het gebruik van LLM’s om het nieuwe aanbevelingsalgoritme uit te breiden ook betekende dat de omringende architectuur rond de feed moest worden bijgewerkt.
“Daar komt veel bij kijken, inclusief hoe we dat soort ledencontext in een prompt behouden, en ervoor zorgen dat we de juiste gegevens leveren om het model te hydrateren, profielgegevens, gegevens over recente activiteiten, enz.”, zei hij. “De tweede is hoe je daadwerkelijk de meest betekenisvolle datapunten bemonstert om vervolgens de LLM te verfijnen.”
LinkedIn testte verschillende iteraties van de datamix in een offline testomgeving.
Een van de eerste hindernissen van LinkedIn bij het vernieuwen van het zoeksysteem was het omzetten van de gegevens in tekst die LLM’s konden verwerken. Om dit te doen heeft LinkedIn een promptbibliotheek gebouwd waarmee ze sjabloonreeksen kunnen maken. Voor berichten richtte LinkedIn zich op het formaat, auteursinformatie, betrokkenheidsaantallen, metadata van het artikel en de tekst van het bericht. Voor leden bevatten ze profielgegevens, vaardigheden, werkgeschiedenis, opleiding en “een chronologisch geordende reeks berichten waarmee ze eerder te maken hebben gehad.”
Een van de meest consequente bevindingen uit die testfase betrof de manier waarop LLM’s met cijfers omgaan. Als een bericht bijvoorbeeld 12.345 views had, verscheen dat cijfer in de prompt als ‘views:12345’, en het model behandelde het als elk ander teksttoken, waardoor het zijn betekenis als populariteitssignaal verloor. Om dit op te lossen heeft het team de betrokkenheidstellingen opgedeeld in percentielbuckets en deze in speciale tokens verpakt, zodat het model ze kon onderscheiden van ongestructureerde tekst. De interventie heeft de manier waarop het systeem het postbereik weegt aanzienlijk verbeterd.
De feed leren om de professionele geschiedenis als een reeks te lezen
Als LinkedIn wil dat zijn feed persoonlijker aanvoelt en berichten de juiste doelgroep bereiken, moet het natuurlijk ook opnieuw bedenken hoe het berichten rangschikt. Traditionele rangschikkingsmodellen, aldus het bedrijf, begrijpen verkeerd hoe mensen omgaan met inhoud: dat deze niet willekeurig is, maar patronen volgt die voortkomen uit iemands professionele reis.
LinkedIn heeft voor zijn feed een eigen Genative Recommender-model (GR) ontwikkeld, dat de interactiegeschiedenis behandelt als een reeks, oftewel “een professioneel verhaal dat wordt verteld via de berichten waarmee je in de loop van de tijd contact hebt gehad.”
“In plaats van elke post afzonderlijk te beoordelen, verwerkt GR meer dan duizend van uw historische interacties om tijdelijke patronen en langetermijnbelangen te begrijpen”, aldus de blog van LinkedIn. “Net als bij retrieval vertrouwt het rankingmodel op professionele signalen en betrokkenheidspatronen, nooit op demografische kenmerken, en wordt het regelmatig gecontroleerd op een eerlijke behandeling binnen ons ledenbestand.”
De rekenkosten van het uitvoeren van LLM’s op de schaal van LinkedIn
Met een nieuw leven ingeblazen datapijplijn en -feed werd LinkedIn geconfronteerd met een ander probleem: GPU-kosten.
LinkedIn heeft zwaar geïnvesteerd in een nieuwe trainingsinfrastructuur om de mate waarin deze op GPU’s leunt te verminderen. De grootste architecturale verschuiving was het scheiden van CPU-gebonden featureverwerking van GPU-zware modelinferentie, waardoor elk type computer doet waarvoor het geschikt is, in plaats van een knelpunt te vormen voor de GPU-beschikbaarheid. Het team schreef ook aangepaste C++-dataladers om de overhead te verminderen die Python-multiprocessing met zich meebracht, en bouwde een aangepaste Flash Attention-variant om de aandachtsberekening tijdens inferentie te optimaliseren. Checkpointing werd geparallelliseerd in plaats van geserialiseerd, waardoor er meer uit het beschikbare GPU-geheugen kon worden gehaald.
“Een van de dingen waar we voor moesten engineeren was dat we veel meer GPU’s moesten gebruiken dan we zouden willen”, zei Jurka. “Wees heel bewust over hoe je de CPU- en GPU-workloads coördineert, want het leuke van dit soort LLM’s en de snelle context die we gebruiken om insluitingen te genereren, is dat je ze dynamisch kunt schalen.”
Voor ingenieurs die aanbevelings- of ophaalsystemen bouwen, biedt het herontwerp van LinkedIn een concrete case study van wat het vervangen van gefragmenteerde pijplijnen door een uniform inbeddingsmodel eigenlijk vereist: opnieuw nadenken over hoe numerieke signalen worden weergegeven in aanwijzingen, CPU- en GPU-werklasten bewust scheiden, en rangschikkingsmodellen bouwen die de gebruikersgeschiedenis als een reeks behandelen in plaats van als een reeks onafhankelijke gebeurtenissen. De les is niet dat LLM’s voedingsproblemen oplossen, maar dat het op grote schaal inzetten ervan je dwingt een andere categorie problemen op te lossen dan waarmee je begon.
