Er woedt een debat door Silicon Valley: hoe ver kan dat? schaal wetten neem de technologie?
CEO van Google DeepMind Demis Hassabiswiens bedrijf zojuist Gemini 3 met veel bijval heeft uitgebracht, heeft duidelijk gemaakt waar hij over deze kwestie staat.
“De schaalvergroting van de huidige systemen moeten we tot het uiterste doorvoeren, omdat het op zijn minst een sleutelcomponent zal zijn van het uiteindelijke AGI-systeem”, zei hij vorige week op de Axios’ AI+ Summit in San Francisco. “Het zou het hele AGI-systeem kunnen zijn.”
AGI, of kunstmatige algemene intelligentieis een nog steeds theoretische versie van AI die net zo goed redeneert als mensen. Het is het doel waar alle toonaangevende AI-bedrijven met elkaar strijden om te bereiken: het aanwakkeren van de vooruitgang enorme uitgaven over infrastructuur en talent.
Wetten op het gebied van AI-schaling suggereren dat hoe meer gegevens en rekenkracht een AI-model krijgt, hoe slimmer het zal worden.
Hassabis zei dat schaalvergroting alleen de industrie waarschijnlijk naar AGI zal brengen, maar dat hij vermoedt dat er ook “een of twee” andere doorbraken nodig zullen zijn.
Het probleem met schalen alleen is dat er een limiet is aan openbaar beschikbare gegevens en aan het toevoegen van rekenmiddelen datacenters bouwenwat duur is en belastend voor het milieu.
Sommige AI-watchers zijn ook bezorgd dat de AI-bedrijven achter de leidende groottaalmodellen dit beginnen te doen dalende rendementen laten zien op hun enorme investeringen in schaalvergroting.
Onderzoekers houden van Yann LeCunde hoofd-AI-wetenschapper bij Meta, die onlangs aankondigde dat hij zou vertrekken om zijn eigen startup te runnen, is van mening dat de industrie een andere weg moet overwegen.
‘De meeste interessante problemen hebben een extreem slechte schaalgrootte’, zei hij in april aan de Nationale Universiteit van Singapore. “Je kunt er niet zomaar van uitgaan dat meer data en meer rekenkracht slimmere AI betekent.”
LeCun verlaat Meta om te werken aan het bouwen van wereldmodellen, een alternatief voor grote taalmodellen die afhankelijk zijn van het verzamelen van ruimtelijke gegevens in plaats van op taal gebaseerde gegevens.
“Het doel van de startup is om de volgende grote revolutie in AI teweeg te brengen: systemen die de fysieke wereld begrijpen, een persistent geheugen hebben, kunnen redeneren en complexe actiescènes kunnen plannen”, schreef hij in november op LinkedIn.
