Ongeveer een jaar geleden trok een advertentie de aandacht van Ashleigh Ruane, een promovendus in de natuurkunde aan de Universiteit van Cambridge. De advertentie was eenvoudig maar ongebruikelijk: Onderwijzen AI over natuurkunde.
Nieuwsgierig klikte ze. Ze ontdekte dat experts uit verschillende vakgebieden – van natuurkunde en financiën tot gezondheidszorg en recht – nu betaald werden om AI-modellen te helpen trainen om te denken, redeneren en problemen op te lossen als domeinspecialisten. Ze solliciteerde, werd aangenomen en logt nu zo’n 50 uur per week in voor het verstrekken van gegevens Mercoreen platform dat AI-labs verbindt met domeinexperts.
Ruane maakt deel uit van een snelgroeiend cohort van professionals die vormgeven hoe AI-modellen leren. Volgens Freelancerzijn er duizenden nieuwe functies voor AI-datatraining en -annotatie op hun markt verschenen, waarbij het grootste deel van de groei pas in de afgelopen 18 maanden tot stand is gekomen. Deze rollen variëren van zeer technische experttaken, zoals het evalueren van complexe redeneringen of het diagnosticeren van modelfouten, tot genuanceerde oordeelsvragen waar grote modellen nog steeds mee worstelen.
“We gaan een heel interessante periode tegemoet”, zegt Matt Barrie, CEO van Freelancer. “AI-modellen hebben steeds meer data nodig. We zien professionals uit alle vakgebieden in alle delen van de wereld deelnemen aan dit AI-datatrainingswerk.”
De trend roept grotere vragen op: als AI-modellen al zijn getraind op het open internet en enorme bedrijfsdatasets, waarom doen ze dat dan? Er zijn nog steeds menselijke experts nodig? Wat doen deze deskundigen precies? En hoe lang zal dit nieuwe soort werk nog bestaan?
AI heeft ‘het hele internet gelezen’ en heeft nog steeds echte experts nodig
Er wordt algemeen aangenomen dat de grootste AI-modellen van vandaag al alles weten wat ze moeten weten. Ze zijn tenslotte getraind in miljoenen boeken, artikelen, artikelen en posts. Maar marktleiders zeggen dat domeinexperts nu belangrijker zijn dan ooit.
“Modellen die op het hele internet zijn getraind, kunnen een antwoord van 80% opleveren, maar op juridisch of fiscaal gebied is 80% niet nuttig”, legt Joel Hron, CTO van ThomsonReuters. “Onze klanten eisen een hoog niveau van nauwkeurigheid en vertrouwen. Het inzetten van experts garandeert nauwkeurigheid in de hoogst mogelijke mate.”
Ana Price, vice-president van supply bij Vruchtbaardat menselijke gegevens levert voor AI-laboratoria, is het ermee eens dat experts nog belangrijker worden naarmate AI-modellen zich verplaatsen naar gereguleerde domeinen waar veel op het spel staat.
“De vraag naar menselijke expertise en domeinspecifieke feedback van AI-modellen groeit en groeit en groeit”, zegt Price. “Naarmate deze modellen groter zijn geworden, worden de fouten steeds moeilijker op te sporen. Er is echte expertise nodig om de inhoud te beoordelen van wat modellen produceren, en niet alleen de correctheid op oppervlakkig niveau.”
Met andere woorden: internet alleen is geen vervanging voor gestructureerde professionele kennis. Hoe meer organisaties afhankelijk zijn van AI voor serieus werk waar veel op het spel staat, hoe meer ze experts nodig hebben om modellen te laten zien hoe echte professionals denken.
Wat deskundige AI-trainers eigenlijk doen
Linda Yu heeft de afgelopen tien jaar geïnvesteerd als investeerder en heeft 4 miljard dollar aan investeringen geïnvesteerd in technologiebedrijven. Ze begon een jaar geleden bij Mercor te werken als deskundige bijdrager, waar typische projecten bestaan uit het coachen van AI-modellen om te denken als een beleggingsprofessional.
“Mijn rol als domeinexpert is om te evalueren of de modelreactie niet alleen technisch correct is, maar ook of de complexe redenering achter de reactie accuraat is – inclusief de aannames die het model heeft gedaan, waar het misschien te ver is gegaan, waar het heeft gemist, en wat een beter antwoord zou zijn”, vertelt Yu. “Het werk voelt minder als het trainen van een AI-model, en meer als het begeleiden van een junior analist.”
Experts als Yu zeggen dat het werk van project tot project varieert en wordt toegepast in verschillende sectoren, van de rechten, de geneeskunde, de techniek en daarbuiten. Deelnemers worden doorgaans per uur betaald:Gemiddeld € 85,- per uur– en er kan worden gevraagd om de redenering van een model over een technische vraag te evalueren, onjuiste antwoorden te herschrijven in correcte, stapsgewijze uitleg, en de uitkomsten van meerdere modellen te vergelijken en te kiezen welke het beste de praktijk in de echte wereld weerspiegelt.
De output is geen generieke inhoud, maar high-fidelity redeneergegevens die zijn ontworpen om vorm te geven aan de manier waarop AI-systemen werken.
AI-interviewers interviewen AI-trainers
Het werk vereist echte expertise, wat betekent dat AI-laboratoria gegevens nodig hebben van doorgelichte experts. Om te helpen bij de doorlichting vertrouwen sommige platforms op AI-interviewers om de feitelijke expertise van potentiële AI-trainers te beoordelen.
“Experts reageren op een oproep en interviewen AI”, zegt Arsham Ghahramani, oprichter van Lintjeeen AI-interviewer met meer dan 500 klanten, waaronder een AI-trainingsdataprovider die maandelijks meer dan 15.000 experts interviewt. “Je krijgt waarschijnlijk de beste sollicitatievragen die je ooit zijn gesteld.”
AI-interviewers beoordelen experts op signalen die kunnen wijzen op alarmsignalen rond expertise, zoals een onregelmatige reactiefrequentie, of ze op een natuurlijke manier reageren en natuurlijk of ze over de vereiste expertise beschikken voor een bepaald domein.
“Het was eigenlijk mijn eerste interview met niet een echt persoon”, zegt Yu. “Het scande mijn CV en kwam met echt relevante vragen. Na elk antwoord gedroeg de AI-interviewer zich als een echt persoon en vatte samen wat ik zei en stelde een vraag die een natuurlijk verlengstuk was van ons gespreksonderwerp. Ik was gefascineerd door de technologie.”
AI evalueert nu de mensen die het onderwijzen, een weerspiegeling van hoe ver mensen over geavanceerde modelmogelijkheden beschikken.
De ‘laatste kilometer aan informatie’ is nog steeds van de mens
Een van de duidelijkste verklaringen waarom expertdata essentieel blijven, komt van Mark Quinn, senior director AI operations bij Parel en voormalig hoofd van de technische activiteiten van Waymo. Hij legt een verband tussen de huidige AI-uitdagingen en autonoom rijden.
“Bij Waymo werkten we aan de laatste kilometer van autonome mobiliteit. Nu werken we aan de laatste kilometer aan informatie”, zegt Quinn. “Hoewel er AI-systemen worden ontwikkeld om de laatste kilometer aan informatie af te sluiten, is de realiteit dat mensen nog steeds de voorkeur geven aan menselijke deskundige validatie als ze een antwoord nodig hebben over wat ze moeten doen als hun hond wat chocolade heeft gegeten.”
De metafoor vindt weerklank in de hele sector. Zelfs nu modellen slimmer en groter worden, is er een wereld vol randgevallen: situaties die een oordeel, ethisch redeneren of domeinspecifieke logica vereisen die niet gemakkelijk in algemene datasets te vangen zijn.
Sommige leiders geloven dat de laatste mijl zal krimpen, maar nooit helemaal zal verdwijnen.
Hron van Thomson Reuters merkt op: “De basismodellen hebben nog een lange weg te gaan voordat ze echt diepgaand zijn. Deskundige systemen en deskundige kennis zullen de modellen helpen naar het volgende niveau te klimmen.”
Price of Prolific voegt daaraan toe: “We hebben nog maar de oppervlakte bereikt als het gaat om wat AI kan doen. Mensen vormen een cruciaal stukje van de puzzel, vooral in nichedomeinen.”
Met andere woorden: de toekomst gaat niet over het vervangen van experts. Het gaat om het opschalen van de expertise die essentieel is om AI-modellen beter en veiliger te maken.
Een nieuw soort kenniswerk
Voor Ruane, promovendus natuurkunde, is het deskundige datawerk een belangrijke bron van inkomsten geworden. Ze heeft onlangs een fulltime baan aanvaard, maar merkt op dat haar nieuwe baan slechts 38 uur per week zal bedragen, waardoor er tijd overblijft om te blijven bijdragen aan AI-trainingsprojecten.
Wat ze ervaart, wordt snel gemeengoed: bekwame professionals die AI-trainingswerk beschouwen als een aanvullend carrièrepad, een flexibele bijbaan of zelfs een voltijdbaan.
Het werk speelt een steeds centralere rol in de manier waarop AI-systemen werken. Naarmate modellen capabeler worden, wordt de waarde van expertise uit de echte wereld opnieuw gedefinieerd en niet verminderd.
Experts gebruiken niet alleen AI. Ze leren hem hoe hij moet redeneren, denken en handelen als een expert.
