Een OpenAI-veiligheid onderzoeksleider die mede vorm heeft gegeven ChatGPT’s reacties op ervaringen van gebruikers crises op het gebied van de geestelijke gezondheidszorg heeft vorige maand intern haar vertrek bij het bedrijf aangekondigd, zo heeft WIRED vernomen. Andrea Vallone, het hoofd van een veiligheidsonderzoeksteam dat bekend staat als modelbeleid, zal OpenAI eind dit jaar verlaten.
OpenAI-woordvoerder Kayla Wood bevestigde het vertrek van Vallone. Wood zei dat OpenAI actief op zoek is naar een vervanger en dat het team van Vallone in de tussentijd rechtstreeks zal rapporteren aan Johannes Heidecke, hoofd veiligheidssystemen van het bedrijf.
Het vertrek van Vallone komt omdat OpenAI steeds meer onder de loep wordt genomen over de manier waarop zijn vlaggenschipproduct hierop reageert gebruikers in nood. De afgelopen maanden zijn er verschillende rechtszaken aangespannen tegen OpenAI, waarbij werd beweerd dat gebruikers ongezonde bijlagen bij ChatGPT hadden gevormd. Sommige rechtszaken beweren dat ChatGPT heeft bijgedragen aan een verstoring van de geestelijke gezondheid of zelfmoordgedachten heeft aangemoedigd.
Te midden van die druk heeft OpenAI gewerkt om te begrijpen hoe ChatGPT met noodlijdende gebruikers moet omgaan en de reacties van de chatbot moet verbeteren. Modelbeleid is een van de teams die dat werk leidt en een speerpunt is Oktober verslag waarin de voortgang van het bedrijf en overleg met meer dan 170 deskundigen op het gebied van de geestelijke gezondheidszorg worden beschreven.
In het rapport zegt OpenAI dat honderdduizenden ChatGPT-gebruikers kunnen verschijnen tekenen van een manische of psychotische crisis elke week, en dat meer dan een miljoen mensen “gesprekken voeren die expliciete indicatoren bevatten van mogelijke zelfmoordplannen of -intenties.” Door een update van GPT-5 zei OpenAI in het rapport dat het de ongewenste reacties in deze gesprekken met 65 tot 80 procent kon verminderen.
“Het afgelopen jaar heb ik het onderzoek van OpenAI geleid naar een vraag waar vrijwel geen precedenten voor bestaan: hoe moeten modellen reageren wanneer ze worden geconfronteerd met tekenen van emotionele overafhankelijkheid of vroege indicaties van geestelijke gezondheidsproblemen?” schreef Vallone in een na is LinkedIn.
Vallone reageerde niet op het verzoek van WIRED om commentaar.
ChatGPT leuk maken om mee te chatten, maar niet overdreven vleiend, is een kernspanning bij OpenAI. Het bedrijf probeert agressief de gebruikersbasis van ChatGPT, die nu meer dan 800 miljoen mensen per week omvat, uit te breiden om te concurreren met AI-chatbots van Google, Anthropic en Meta.
Nadat OpenAI in augustus GPT-5 uitbracht, gingen gebruikers terug met het argument dat het nieuwe model dat wel was verrassend koud. In de laatste update van ChatGPT zei het bedrijf dat het de sycofantie aanzienlijk had verminderd, terwijl de ‘warmte’ van de chatbot behouden bleef.
De uitgang van Vallone volgt op een Augustus reorganisatie van een andere groep gericht op de reacties van ChatGPT op noodlijdende gebruikers, modelgedrag. De voormalige leider ervan, Joanne Jang, verliet die rol om een nieuw team op te richten dat nieuwe mens-AI-interactiemethoden onderzoekt. De overige staf voor modelgedrag werd onder leiding van Max Schwarzer na de training geplaatst.
