De originele versie van dit verhaal verscheen erin Quanta-tijdschrift.
Welke van de talloze vermogens die mensen bezitten, zijn uniek menselijk? Taal is in ieder geval een topkandidaat sinds Aristoteles, die schreef dat de mensheid ‘het dier is dat taal heeft’. Zelfs nu grote taalmodellen zoals ChatGPT oppervlakkig gewone spraak nabootsen, willen onderzoekers weten of er specifieke aspecten van de menselijke taal zijn die eenvoudigweg geen parallellen hebben in de communicatiesystemen van andere dieren of kunstmatig intelligente apparaten.
Onderzoekers hebben vooral onderzocht in hoeverre taalmodellen over taal zelf kunnen redeneren. Voor sommigen in de taalgemeenschap zijn taalmodellen niet alleen niet hebben redeneervermogen, zij kan niet. Deze visie werd in 2023 samengevat door Noam Chomsky, een vooraanstaand taalkundige, en twee coauteurs, toen zij schreef erin De New York Times dat “de juiste uitleg van taal ingewikkeld is en niet kan worden geleerd door alleen maar te marineren in big data.” AI-modellen zijn weliswaar bedreven in het gebruik van taal, betoogden deze onderzoekers, maar ze zijn niet in staat taal op een verfijnde manier te analyseren.
Die opvatting werd onlangs in twijfel getrokken papier door Gasper Begušeen taalkundige aan de Universiteit van Californië, Berkeley; Maksymilian Dąbkowskidie onlangs zijn doctoraat in de taalkunde behaalde aan Berkeley; En Ryan Rhodos van de Rutgers Universiteit. De onderzoekers hebben een aantal grote taalmodellen, of LLM’s, aan een hele reeks taalkundige tests onderworpen, waaronder in één geval de LLM de regels van een verzonnen taal laten generaliseren. Hoewel de meeste LLM’s er niet in slaagden taalkundige regels te ontleden op de manier waarop mensen dat kunnen, beschikte één van hen over indrukwekkende vaardigheden die de verwachtingen ruimschoots overtroffen. Het was in staat taal op vrijwel dezelfde manier te analyseren als een afgestudeerde taalkundestudent: zinnen in diagramvorm brengen, meerdere dubbelzinnige betekenissen oplossen en gebruik maken van ingewikkelde taalkundige kenmerken zoals recursie. Deze bevinding, zei Beguš, “daagt ons begrip uit van wat AI kan doen.”
Dit nieuwe werk is zowel actueel als ‘zeer belangrijk’, zegt hij Tom McCoyeen computerlinguïst aan de Yale Universiteit die niet betrokken was bij het onderzoek. “Naarmate de samenleving afhankelijker wordt van deze technologie, wordt het steeds belangrijker om te begrijpen waar deze kan slagen en waar deze kan falen.” Taalkundige analyse, zo voegde hij eraan toe, is de ideale proeftuin voor het evalueren van de mate waarin deze taalmodellen kunnen redeneren als mensen.
Oneindige complexiteit
Eén uitdaging bij het onderwerpen van taalmodellen aan een rigoureuze taalkundige test is ervoor te zorgen dat ze de antwoorden niet al weten. Deze systemen zijn doorgaans getraind op enorme hoeveelheden geschreven informatie – niet alleen op het grootste deel van het internet, in tientallen, zo niet honderden talen, maar ook op zaken als taalboeken. De modellen zouden in theorie eenvoudig de informatie die ze tijdens de training hebben gekregen, kunnen onthouden en opnieuw kunnen uitspreken.
Om dit te voorkomen, hebben Beguš en zijn collega’s een taaltest in vier delen gemaakt. In drie van de vier delen werd het model gevraagd speciaal vervaardigde zinnen te analyseren met behulp van boomdiagrammen, die voor het eerst werden geïntroduceerd in Chomsky’s baanbrekende boek uit 1957, Syntactische structuren. Deze diagrammen splitsen zinnen op in zelfstandige naamwoorden en werkwoordzinnen en verdelen ze vervolgens verder in zelfstandige naamwoorden, werkwoorden, bijvoeglijke naamwoorden, bijwoorden, voorzetsels, voegwoorden, enzovoort.
Eén deel van de test was gericht op recursie: de mogelijkheid om zinsdelen in zinsdelen in te sluiten. “De lucht is blauw” is een eenvoudige Engelse zin. “Jane zei dat de lucht blauw is” integreert de oorspronkelijke zin in een iets complexere zin. Belangrijk is dat dit proces van recursie eeuwig kan doorgaan: ‘Maria vroeg zich af of Sam wist dat Omar hoorde dat Jane zei dat de lucht blauw is’ is ook een grammaticaal correcte, zij het ongemakkelijke, recursieve zin.
