Als je het vraagt Yann LeCunSilicon Valley heeft een groepsdenkenprobleem. Sinds hij Meta in november verliet, heeft de onderzoeker en AI-uitblinker dat gedaan doel genomen op de orthodoxe opvatting dat grote taalmodellen (LLM’s) ons naar kunstmatige algemene intelligentie (AGI) zullen brengen, de drempel waar computers de menselijke intelligentie evenaren of overtreffen. Iedereen, verklaarde hij in a recent interviewis “LLM-gepild.”
Op 21 januari startte de in San Francisco gevestigde startup Logic Intelligence benoemde LeCun tot lid van het bestuur. Voortbouwend op een theorie bedacht door LeCun twintig jaar eerder beweert de startup een andere vorm van AI te hebben ontwikkeld, beter toegerust om te leren, te redeneren en zichzelf te corrigeren.
Logical Intelligence heeft een zogenaamd energiegebaseerd redeneermodel (EBM) ontwikkeld. Terwijl LLM’s effectief het meest waarschijnlijke volgende woord in een reeks voorspellen, absorberen EBM’s een reeks parameters (bijvoorbeeld de regels voor sudoku) en voltooien ze een taak binnen die grenzen. Deze methode zou fouten moeten elimineren en veel minder rekenkracht vereisen, omdat er minder vallen en opstaan is.
Het debuutmodel van de startup, Kona 1.0, kan sudoku-puzzels vele malen sneller oplossen dan ’s werelds toonaangevende LLM’s, ondanks het feit dat het op slechts één Nvidia H100 GPU draait, aldus oprichter en CEO Eve Bodnia, in een interview met WIRED. (In deze test mogen de LLM’s geen codeermogelijkheden gebruiken waarmee ze de puzzel ‘brute force’ kunnen maken.)
Logical Intelligence beweert het eerste bedrijf te zijn dat een werkende EBM heeft gebouwd, tot nu toe slechts een vlucht van academische fantasie. Het idee is dat Kona netelige problemen aanpakt, zoals het optimaliseren van energienetwerken of het automatiseren van geavanceerde productieprocessen, in een omgeving zonder tolerantie voor fouten. “Geen van deze taken houdt verband met taal. Het is alles behalve taal”, zegt Bodnia.
Bodnia verwacht dat Logical Intelligence nauw zal samenwerken met AMI Labs, een in Parijs gevestigde startup die onlangs door LeCun is gelanceerd, die nog een andere vorm van AI ontwikkelt: een zogenaamd wereldmodel, bedoeld om fysieke dimensies te herkennen, persistent geheugen te demonstreren en te anticiperen op de uitkomsten van zijn acties. De weg naar AGI begint volgens Bodnia met de gelaagdheid van deze verschillende soorten AI: LLM’s zullen in natuurlijke taal communiceren met mensen, EBM’s zullen redeneertaken op zich nemen, terwijl wereldmodellen robots zullen helpen actie te ondernemen in de 3D-ruimte.
Bodnia sprak deze week via een videoconferentie met WIRED vanuit haar kantoor in San Francisco. Het volgende interview is aangepast voor duidelijkheid en lengte.
WIRED: Ik zou naar Yann moeten vragen. Vertel me hoe jullie elkaar hebben ontmoet, zijn aandeel in het aansturen van het onderzoek bij Logical Intelligence, en wat zijn rol in het bestuur inhoudt.
Bodnia: Yann heeft veel academische ervaring als professor aan de New York University, maar hij is al vele, vele jaren in aanraking gekomen met de echte industrie via Meta en andere medewerkers. Hij heeft beide werelden gezien.
Voor ons is hij de enige expert in op energie gebaseerde modellen en verschillende soorten bijbehorende architecturen. Toen we aan deze EBM begonnen te werken, was hij de enige met wie ik kon praten. Hij helpt ons technisch team bepaalde richtingen op te gaan. Hij is heel, heel praktisch geweest. Zonder Yann kan ik me niet voorstellen dat we zo snel opschalen.
Yann is openhartig over de potentiële beperkingen van LLM’s en welke modelarchitecturen het AI-onderzoek het meest waarschijnlijk vooruit zullen helpen. Waar sta jij?
LLM’s zijn een groot raadspel. Daarom heb je veel rekenkracht nodig. Je neemt een neuraal netwerk, voedt het vrijwel al het afval van internet en probeert het te leren hoe mensen met elkaar communiceren.
Als je spreekt, is jouw taal voor mij intelligent, maar niet vanwege de taal. Taal is een manifestatie van wat er in je hersenen zit. Mijn redenering vindt plaats in een soort abstracte ruimte die ik in taal decodeer. Ik heb het gevoel dat mensen intelligentie proberen te reverse-engineeren door intelligentie na te bootsen.
