Voor AI-systemen Om het kenniswerk te blijven verbeteren, hebben ze ofwel een betrouwbaar mechanisme voor autonome zelfverbetering nodig, ofwel menselijke beoordelaars die fouten kunnen onderkennen en feedback van hoge kwaliteit kunnen genereren. De industrie heeft enorm geïnvesteerd in het eerste. Er wordt bijna niet nagedacht over wat er met de tweede gebeurt.
Ik zou betogen dat we het menselijke evaluatieprobleem met net zoveel nauwkeurigheid en investeringen moeten behandelen als we steken in het opbouwen van de modelcapaciteiten zelf. Er zijn nieuwe afgestudeerden aangenomen bij grote technologiebedrijven sinds 2019 met de helft gedaald. Documentbeoordeling, first-pass onderzoek, gegevensopschoning, codebeoordeling: modellen kunnen deze nu verwerken. De economen die dit volgen noemen het verplaatsing. De bedrijven die dit doen noemen het efficiëntie. Geen van beide richt zich op het toekomstige probleem.
Waarom zelfverbetering grenzen kent in kenniswerk
De voor de hand liggende tegenvaller is versterkend leren (RL). AlphaZero leerde Go, schaken en Shogi op bovenmenselijke niveaus zonder menselijke gegevens en genereerde daarbij nieuwe strategieën. Zet 37 in de wedstrijd van 2016 tegen Lee Sedol, een zet waarvan professionals zeiden dat ze die nooit zouden hebben gespeeld, kwam niet voort uit menselijke annotatie. Het kwam voort uit AI-zelfspel.
Wat dit mogelijk maakt, is de stabiliteit van de omgeving. Zet 37 is een nieuwe zet binnen de vaste toestandsruimte van Go. De regels zijn volledig, ondubbelzinnig en permanent. Belangrijker nog is dat het beloningssignaal perfect is: winnen of verliezen, en onmiddellijk, zonder ruimte voor interpretatie. Het systeem weet altijd of een zet goed was, omdat het spel uiteindelijk met een duidelijk resultaat eindigt.
Kenniswerk heeft geen van beide eigenschappen. De regels in elk professioneel domein zijn dynamisch en worden voortdurend herschreven door de mensen die daarin opereren. Er worden nieuwe wetten aangenomen. Er worden nieuwe financiële instrumenten uitgevonden. Een juridische strategie die in 2022 werkte, kan mislukken in een rechtsgebied waarvan de interpretatie sindsdien is veranderd. Of een medische diagnose juist was, is misschien pas jarenlang bekend. Zonder een stabiele omgeving en een eenduidig beloningssignaal kun je de cirkel niet sluiten. Je hebt mensen nodig in de evaluatieketen om het model te blijven onderwijzen.
Het formatieprobleem
De AI-systemen die vandaag de dag worden gebouwd, zijn getraind op de expertise van mensen die precies die opleiding hebben doorlopen. Het verschil is nu dat banen op instapniveau waarin dergelijke expertise wordt ontwikkeld, eerst werden geautomatiseerd. Wat betekent dat de volgende generatie potentiële experts de soort oordeel dat maakt het de moeite waard om een menselijke beoordelaar op de hoogte te hebben.
De geschiedenis kent voorbeelden van het uitsterven van kennis. Romeins beton. Gotische bouwtechnieken. Wiskundige tradities die eeuwen nodig hadden om zich te herstellen. Maar in elk historisch geval lag de oorzaak van buitenaf: pest, verovering, de ineenstorting van de instellingen die de kennis herbergden. Wat hier anders is, is dat er geen externe kracht nodig is. Velden zouden niet kunnen wegkwijnen door een catastrofe, maar door duizend individueel rationele economische beslissingen, die elk afzonderlijk verstandig zijn. Dat is een nieuw mechanisme, en we hebben niet veel ervaring met het herkennen ervan terwijl het gebeurt.
Als hele velden stil worden
Op de logische grens is dit niet alleen een pijplijnprobleem. Het is een ineenstorting van de vraag voor de expertise zelf.
Denk aan geavanceerde wiskunde. Het verdwijnt niet omdat we stoppen met het opleiden van wiskundigen. Het kwijnt weg omdat organisaties niet langer wiskundigen nodig hebben voor hun dagelijkse werk, de economische prikkel om er één te worden verdwijnt, de populatie van mensen die grensverleggend wiskundig redeneren kan krimpen en het vermogen van het veld om nieuwe inzichten te genereren stilletjes instort. Dezelfde logica is van toepassing op codering. Onze vraag is niet “zal AI code schrijven” maar “als AI alle productiecode schrijft, wie ontwikkelt dan de diepe architectonische intuïtie die werkelijk nieuw systeemontwerp voortbrengt?”
Er is een cruciaal verschil tussen een veld dat wordt geautomatiseerd en een veld dat wordt begrepen. We kunnen tegenwoordig een enorme hoeveelheid bouwtechniek automatiseren, maar de abstracte kennis over waarom bepaalde benaderingen werken, leeft in de hoofden van mensen die het jarenlang eerst verkeerd hebben gedaan. Als je de beoefening elimineert, verlies je niet alleen de beoefenaars. Je verliest het vermogen om te weten wat je verloren hebt.
Geavanceerde wiskunde, theoretische informatica, diep juridisch redeneren, complexe systeemarchitectuur: wanneer de laatste persoon die een subgebied van de algebra diep begrijpt met pensioen gaat en niemand hem vervangt omdat de financiering opdroogt en het carrièrepad is verdwenen, zal die kennis waarschijnlijk niet snel worden herontdekt.
Het is weg. En niemand merkt het, want de op hun werk getrainde modellen presteren nog tien jaar lang goed op benchmarks. Ik beschouw dit als een uitholling: het oppervlakkige vermogen blijft bestaan (modellen kunnen nog steeds resultaten produceren die er deskundig uitzien), terwijl het onderliggende menselijke vermogen om die expertise te valideren, uit te breiden of te corrigeren stilletjes verdwijnt.
Waarom rubrieken niet volledig vervangen
De huidige aanpak is evaluatie op basis van rubrieken. Constitutionele AI, versterkend leren van AI-feedback (RLAIF) en gestructureerde criteria waarmee modellen modellen kunnen scoren, zijn serieuze technieken die de afhankelijkheid van menselijke beoordelaars op betekenisvolle wijze verminderen. Ik wijs ze niet af.
Hun beperking is dit: een rubriek kan alleen vastleggen wat de persoon die de rubriek schreef wist te meten. Als je er hard tegenaan optimaliseert, krijg je een model dat heel goed aan de rubriek voldoet. Dat is niet hetzelfde als een model dat feitelijk klopt.
Rubrieken schalen het expliciete, articuleerbare deel van het oordeel. Het diepere deel, het instinct, het gevoel dat er iets niet klopt, past niet in een rubriek. Je kunt het niet opschrijven, omdat je het eerst moet ervaren voordat je weet wat je moet schrijven.
Wat dit in de praktijk betekent
Dit is geen argument om de ontwikkeling te vertragen. De vermogenswinst is reëel. En het is mogelijk dat onderzoekers manieren zullen vinden om de evaluatielus te sluiten zonder menselijk oordeel. Misschien worden synthetische datapijplijnen goed genoeg. Misschien ontwikkelen modellen betrouwbare zelfcorrectiemechanismen die we ons nog niet kunnen voorstellen.
Maar die hebben we vandaag niet. En in de tussentijd ontmantelen we de menselijke infrastructuur die momenteel de leemte opvult, niet als een weloverwogen beslissing, maar als een bijproduct van duizend rationele beslissingen. De verantwoorde versie van deze transitie is niet om ervan uit te gaan dat het probleem zichzelf zal oplossen. Het gaat erom de evaluatiekloof te behandelen als een open onderzoeksprobleem, met dezelfde urgentie als wij voor capaciteitswinst zorgen.
Wat AI het meeste nodig heeft van mensen, is datgene waar we het minst op gefocust zijn. Of dat nu permanent waar is of tijdelijk waar, de kosten voor het negeren ervan zijn dezelfde.
Ahmad Al-Dahle is CTO van Airbnb.
Welkom bij de VentureBeat-community!
In ons gastpostprogramma delen technische experts inzichten en bieden ze neutrale, niet-gevestigde diepgaande inzichten over AI, data-infrastructuur, cyberbeveiliging en andere geavanceerde technologieën die de toekomst van het bedrijfsleven vormgeven.
Lees meer uit ons gastpostprogramma — en bekijk ons richtlijnen als u geïnteresseerd bent om een eigen artikel bij te dragen!
