Wetenschappelijke artikelen vertrouwen erop dat lezers hun informatie vertrouwen. Daarom is het verontrustend dat a nieuwe studie door onderzoekers verbonden aan Cornell en UCLA vonden 146.900 door AI gegenereerde valse citaten in wetenschappelijke artikelen die werden gehost in vier grote onderzoeksdatabases.
Een belangrijke beperking van grote taalmodellen zoals Gemini en ChatGPT is hun neiging om plausibel klinkende maar onjuiste informatie te produceren. een fenomeen dat bekend staat als hallucinatie. Als een onderzoeker vertrouwt op een chatbot om citaten op te stellen zonder deze te verifiëren, kan het model referenties genereren die volledig verzonnen zijn.
Hoewel wetenschappelijke artikelen vaak voor het publieke oog verborgen blijven, heeft het onderzoek dat zij rapporteren een diepgaande impact op ons leven. Alles van het internet naar lithium-ionbatterijen begon als een onderzoekspaper.
Maar wanneer wetenschappers artikelen indienen waarin AI-hallucinaties worden genoemd, kan dit het vertrouwen in de kwaliteit van het onderzoek ondermijnen.
Slordig wetenschap
Het onderzoeksteam analyseerde 111 miljoen referenties uit 2,5 miljoen wetenschappelijke artikelen. Ze zochten naar citaten met titels die het team aan geen enkele publicatie kon koppelen. Hoewel sommige van deze gevallen slechts spelfouten waren, ontdekte het team ook hallucinaties.
Gewetenloze onderzoekers hadden al lang vóór de opkomst van chatbots citaten vervalst. Daarom onderzocht het team ook de aantallen ongeëvenaarde citaten in onderzoek dat vóór 2023 werd gepubliceerd, toen chatbots nog niet alomtegenwoordig waren.
“We constateren een sterke stijging van het aantal niet-bestaande referenties na de wijdverbreide LLM-acceptatie”, schrijven de auteurs in de krant.
Het team ontdekte ook dat de slechte citaten over veel kranten waren verspreid, in plaats van dat ze zich in slechts enkele artikelen concentreerden. Dat suggereert dat het probleem wijdverspreid is, waarbij veel onderzoekers vertrouwen op door AI gegenereerde referenties zonder deze volledig te verifiëren.
Waarschuwingsborden
Usha Haley, hoogleraar management aan de Wichita State University, vertelde CNET via e-mail dat zij de verspreiding van valse citaten als een ernstige waarschuwing ziet.
“Valse of door AI gegenereerde citaten ondermijnen het vertrouwen in de wetenschappelijke gegevens die de basis vormen waarop peer review en cumulatieve kennis rusten”, aldus Haley. “Verontrustend genoeg komt dit scepticisme nu uit de academische wereld zelf en uit beginnende wetenschappers.”
De vier databases waar de onderzoekers de valse citaten vonden zijn arXiv, bioRxiv, SSRN en PubMed Central. Deze organisaties, bekend als wetenschappelijke repositories, spelen een grote rol in de onderzoekswereld.
Voordat een artikel in een wetenschappelijk tijdschrift wordt gepubliceerd, uploaden de auteurs het vaak naar een wetenschappelijke repository, waardoor de zichtbaarheid ervan wordt vergroot en de mondiale wetenschappelijke gemeenschap er onmiddellijk toegang toe heeft. Het nieuwe artikel over AI-hallucinerende citaten wordt momenteel gehost op arXiv.
Onlangs heeft arXiv stappen ondernomen om de stroom van valse citaten in te dammen. De organisatie dinsdag bekend gemaakt dat het auteurs zal verbieden die werk indienen met hallucinerende citaten of met enig teken van AI-inhoud dat niet zorgvuldig is gecontroleerd.
“Het corpus van de wetenschap raakt verwaterd. Veel van de AI-dingen zijn ofwel actief verkeerd, ofwel zinloos. Het is alleen maar ruis”, wetenschappelijk directeur van arXiv Steinn Sigurdsson verteld Katelyn Chedraoui van CNET in februari. “Het maakt het moeilijker om te achterhalen wat er werkelijk gebeurt, en het kan mensen op een verkeerd spoor zetten.”
