OpenAI-medeoprichter Ilya Sutskever gelooft dat het tij van de AI-industrie zal moeten terugkeren naar de onderzoeksfase.
In een aflevering van de ‘Dwarkesh Podcast’ die dinsdag werd gepubliceerd, daagde Sutskever, die algemeen wordt gezien als een pionier op het gebied van moderne kunstmatige intelligentie, de conventionele wijsheid uit dat schaalvergroting de belangrijkste routekaart zou kunnen zijn voor de vooruitgang van AI.
Technologiebedrijven hebben er honderden miljarden in gestoken GPU’s aanschaffen En datacenters bouwen om in wezen hun AI-tools – of dat nu LLM’s of modellen voor het genereren van afbeeldingen zijn – beter te maken.
De wijsheid luidt dat hoe meer rekenkracht je hebt of hoe meer trainingsgegevens je hebt, hoe slimmer je AI-tool zal zijn.
Sutskever zei in het interview dat dit ‘recept’ de afgelopen vijftig jaar indrukwekkende resultaten heeft opgeleverd. Het is ook efficiënt voor bedrijven omdat de methode een eenvoudige en “zeer laag risicovolle manier” biedt om middelen te investeren, vergeleken met het steken van geld in onderzoek dat nergens toe zou kunnen leiden.
Echter, Sutskever, die nu rent Veilig Superintelligence Inc.is van mening dat de methode bijna geen startbaan meer heeft; Gegevens zijn eindig en organisaties hebben al toegang tot een enorme hoeveelheid rekenkracht, zei hij.
“Is de overtuiging echt: ‘Oh, het is zo groot, maar als je 100x meer had, zou alles zo anders zijn?’ Het zou anders zijn, zeker. Maar is de overtuiging dat als je maar 100x de schaal zou vergroten, alles getransformeerd zou worden? Ik denk niet dat dat waar is”, zei Sutskever. “Dus het is weer terug naar het tijdperk van onderzoek, alleen met grote computers.”
Sutskever negeerde de noodzaak van computing niet, maar stelde dat computing nog steeds noodzakelijk is voor onderzoek en dat het een van de ‘grote onderscheidende factoren’ kan zijn in een sector waarin elke grote organisatie volgens hetzelfde paradigma opereert.
Het onderzoek zal echter van cruciaal belang zijn om effectieve en productieve manieren te vinden om al die verworven rekenkracht te gebruiken, zei hij.
Eén gebied dat volgens Sutskever meer onderzoek zal vergen, is het generaliseren van modellen – in wezen leren met behulp van kleine hoeveelheden informatie of voorbeelden – net zoals mensen dat doen.
“Wat volgens mij het meest fundamentele is, is dat deze modellen op de een of andere manier dramatisch slechter generaliseren dan mensen”, zei hij. “Het is overduidelijk. Dat lijkt iets heel fundamenteels.”
