OpenAI vraagt externe contractanten om echte opdrachten en taken van hun huidige of vorige werkplekken te uploaden, zodat zij de gegevens kunnen gebruiken om de prestaties van de volgende generatie te evalueren AI-modellenvolgens gegevens van OpenAI en het trainingsdatabedrijf Handshake AI verkregen door WIRED.
Het project lijkt deel uit te maken van de inspanningen van OpenAI om een menselijke basislijn vast te stellen voor verschillende taken, die vervolgens kunnen worden vergeleken met AI-modellen. In september lanceerde het bedrijf een nieuwe evaluatie proces om de prestaties van zijn AI-modellen te meten ten opzichte van menselijke professionals in verschillende sectoren. OpenAI zegt dat dit een belangrijke indicator is van de voortgang in de richting van het bereiken van AGI, of een AI-systeem dat beter presteert dan mensen bij de meest economisch waardevolle taken.
“We hebben mensen uit verschillende beroepen ingehuurd om te helpen bij het verzamelen van taken uit de echte wereld, gemodelleerd naar de taken die u in uw fulltimebaan hebt uitgevoerd, zodat we kunnen meten hoe goed AI-modellen presteren bij die taken”, luidt een vertrouwelijk document van OpenAI. “Neem bestaande stukken langdurig of complex werk (uren of dagen+) die je in je beroep hebt gedaan en maak van elk werk een taak.”
OpenAI vraagt aannemers om taken te beschrijven die ze in hun huidige baan of in het verleden hebben uitgevoerd en om echte voorbeelden te uploaden van werk dat ze hebben gedaan, volgens een OpenAI-presentatie over het project bekeken door WIRED. Elk van de voorbeelden moet “een concrete uitvoer zijn (geen samenvatting van het bestand, maar het daadwerkelijke bestand), bijvoorbeeld een Word-document, PDF, Powerpoint, Excel, afbeelding, opslagplaats”, aldus de presentatie. OpenAI zegt dat mensen ook verzonnen werkvoorbeelden kunnen delen die zijn gemaakt om te laten zien hoe ze realistisch zouden reageren in specifieke scenario’s.
OpenAI en Handshake AI weigerden commentaar te geven.
Taken uit de echte wereld bestaan volgens de OpenAI-presentatie uit twee componenten. Er is het taakverzoek (wat de manager of collega van een persoon hem heeft opgedragen) en het op te leveren taak (het daadwerkelijke werk dat hij of zij heeft geproduceerd als reactie op dat verzoek). Het bedrijf benadrukt in instructies meerdere keren dat de voorbeelden die aannemers delen het “echte, on-the-job-werk” moeten weerspiegelen dat de persoon heeft “Eigenlijk klaar.”
Een voorbeeld in de OpenAI-presentatie schetst een taak van een “Senior Lifestyle Manager bij een luxe conciërgebedrijf voor zeer vermogende particulieren.” Het doel is om “een korte PDF-versie van twee pagina’s voor te bereiden van een zevendaagse jachtreisoverzicht naar de Bahama’s voor een gezin dat daar voor de eerste keer naartoe reist.” Het bevat aanvullende details over de interesses van het gezin en hoe het reisschema eruit zou moeten zien. Het ‘ervaren menselijke resultaat’ laat vervolgens zien wat de aannemer in dit geval zou uploaden: een echte Bahama’s-reisroute gemaakt voor een klant.
OpenAI instrueert de contractanten om intellectueel eigendom van het bedrijf en persoonlijk identificeerbare informatie te verwijderen uit de werkbestanden die ze uploaden. Onder een sectie met de titel ‘Belangrijke herinneringen’ zegt OpenAI tegen de werknemers dat ze ‘persoonlijke informatie, eigendoms- of vertrouwelijke gegevens, materiële niet-openbare informatie (bijvoorbeeld interne strategie, niet-vrijgegeven productdetails) moeten verwijderen of anonimiseren.’
Een van de bestanden die door het WIRED-document worden bekeken, vermeldt een ChatGPT-tool genaamd “Superster schrobben” dat advies geeft over hoe u vertrouwelijke informatie kunt verwijderen.
Evan Brown, advocaat op het gebied van intellectueel eigendom bij Neal & McDevitt, vertelt WIRED dat AI-laboratoria die op deze schaal vertrouwelijke informatie ontvangen van aannemers, onderhevig kunnen zijn aan claims voor verduistering van handelsgeheimen. Aannemers die documenten van hun vorige werkplekken aanbieden aan een AI-bedrijf, zelfs als ze zijn opgeschoond, lopen het risico de geheimhoudingsovereenkomsten van hun vorige werkgevers te schenden of bedrijfsgeheimen bloot te leggen.
“Het AI-lab stelt veel vertrouwen in zijn aannemers om te beslissen wat wel en niet vertrouwelijk is”, zegt Brown. “Als ze iets doorlaten, nemen de AI-labs dan echt de tijd om te bepalen wat wel en niet een bedrijfsgeheim is? Het lijkt mij dat het AI-lab zichzelf in groot gevaar brengt.”
