Informatie op hoog niveau over het privéwerk van studenten en medewerkers met behulp van ChatGPT Edu aan verschillende universiteiten kunnen door duizenden collega’s binnen hun instellingen worden bekeken vanwege een misverstand over wat er wordt gedeeld, aldus een onderzoeker van de Universiteit van Oxford die het probleem heeft geïdentificeerd.
Het probleem treft Codex Cloud-omgevingen in ChatGPT Edu en onthult de namen en enkele metagegevens die verband houden met de openbare en privé GitHub-repository’s die gebruikers binnen een universiteit hebben verbonden met hun ChatGPT Edu-accounts.
Er zijn geen privécodes of repositorygegevens blootgesteld aan ongeautoriseerde gebruikers. Niettemin kunnen de zichtbare metadata nog steeds een betekenisvol beeld geven van de activiteit van gebruikers.
“Iedereen op de universiteit, of in ieder geval een groot aantal mensen – inclusief ikzelf – kan een aantal projecten zien (waar mensen aan hebben gewerkt) met ChatGPT”, zegt Luc Rocher, universitair hoofddocent aan de Universiteit van Oxford, die het probleem heeft geïdentificeerd en via verantwoordelijke openbaarmaking bij zowel de Universiteit van Oxford als OpenAI ter sprake heeft gebracht. Later kwam hij dichterbij Snel bedrijf na wat hij voelde als een ontoereikende reactie van beiden.
Naast de projecten zei Rocher dat hij kon zien hoe vaak gebruikers interactie hadden met ChatGPT voor een bepaald project en wanneer die gesprekken begonnen. Uit die metadata kon Rocher opmaken dat een student uit Oxford aan een artikel werkte om in te dienen met behulp van de tools van OpenAI – iets wat de student bevestigde toen Rocher hen benaderde.
“In termen van de omvang van de verschillende mensen die toegang hebben tot elkaars gedragsgegevens, is dat behoorlijk zorgwekkend”, zegt een afzonderlijke onderzoeker van de Universiteit van Oxford, die anonimiteit kreeg van Snel bedrijf om vrijuit over hun werkgever te praten. De onderzoeker erkent echter dat de gegevensblootstelling intern is en, hoewel breed, beperkt in diepte. “Ik vermoed dat dit de reden kan zijn dat het gegevensbeschermingsteam niet zo snel heeft gereageerd alsof het iets publiekelijks was.”
De onderzoeker noemt het gebrek aan reactie van de instelling echter ‘naïef’. Ze voegen eraan toe: “Er zijn redenen voor onderzoekers om privérepository’s te hebben.”
De situatie weerspiegelt een soortgelijk probleem eerder gemeld door Snel bedrijfwaarin gebruikers van OpenAI’s standaard ChatGPT-product niet duidelijk werden geïnformeerd dat het delen van hun gesprekken ervoor kon zorgen dat die chats door zoekmachines konden worden geïndexeerd. Het bedrijf ontkende aanvankelijk het probleem de functie verwijderd na tegenreactie.
“Het lijkt mij dat er sprake is van een slechte standaard”, zegt Rocher, waarbij gebruikers niet meteen en duidelijk duidelijk wordt gemaakt waar ze voor kiezen.
Dat vertelt een woordvoerder van OpenAI Snel bedrijf: “Gebruikers hebben de volledige controle over hoe hun omgevingen worden gedeeld. Namen van opslagplaatsen kunnen alleen zichtbaar zijn voor andere leden van dezelfde organisatie als deze door de eigenaar van de werkruimte zijn gekozen, en de inhoud van de opslagplaatsen blijft veilig.”
De woordvoerder vult aan: “We hebben rechtstreeks met de klant gesproken over deze vraag en zijn altijd blij met hun feedback.”
De Universiteit van Oxford weigerde commentaar te geven op de zaak. Snel bedrijf begrijpt dat Rocher andere universiteiten heeft geïdentificeerd – waaronder tenminste één in het Midden-Oosten – die door hetzelfde probleem zijn getroffen.
“Ik denk dat dit iets is waar universiteiten zich bewust van moeten worden gemaakt”, zegt Rocher.
De situatie benadrukt een bredere spanning rond hoe AI Er worden producten ingezet, zeggen experts.
“Hoewel het niet duidelijk is hoeveel data standaard door OpenAI worden vrijgegeven, is het duidelijk dat de manier waarop deze systemen zijn geïntegreerd, informatie zichtbaar maakt voor zowel het bedrijf als de hele organisatie die voorheen niet zichtbaar was”, zegt Michael Veale, hoogleraar technologierecht en beleid aan het University College London.
Veale zegt dat dynamiek weerspiegelt hoe AI-systemen werken. “Het maakt deel uit van een bredere trend waarin AI-tools worden geïntegreerd zonder rekening te houden met de manieren waarop ze transformeren wie welke informatie kan zien, en de moeilijkheid, of zelfs onmogelijkheid, van gebruikers om te redeneren wat er achter de schermen gebeurt”, zegt hij. “Per definitie bevragen AI-systemen externe diensten sneller dan mensen dat kunnen.”
Die discrepantie tussen AI-capaciteiten en menselijk toezicht brengt risico’s met zich mee.
“Mensen hebben al enorme moeite om in de beste tijden te begrijpen welke informatie waar naartoe gaat”, zegt Veale. “Door dat sneller en alomtegenwoordiger te maken, wordt dat alleen maar moeilijker en wordt de ondoorzichtigheid en kwetsbaarheid voor inbreuken en aanvallen daarbij groter.”
