Welkom bij AI gedecodeerd, Snel bedrijf’s wekelijkse nieuwsbrief met het belangrijkste nieuws in de wereld van AI. Ik ben Mark Sullivan, een senior schrijver bij Snel bedrijf, over opkomende technologie, AI en technologiebeleid.
Deze week concentreer ik me op wat het nieuwe bedrijf van AI-pionier Yann LeCun waarschijnlijk zal bouwen nadat hij bij Meta vertrekt. Ik kijk ook naar de prik van Marc Andreessen tegen de paus op X, en naar “Fei-Fei Li’s visie op de AI-wereld sinds 2012.
Meld u aan om deze nieuwsbrief wekelijks per e-mail te ontvangen hier. En als u opmerkingen heeft over dit onderwerp en/of ideeën voor toekomstige kwesties, stuur mij dan een bericht op sullivan@fastcompany.com en volg mij op X @thesullivan.
Het vertrek van Yann LeCun bij Meta en wat hij waarschijnlijk hierna gaat doen
Yann LeCun, de AI-pionier die sinds 2013 leiding geeft aan Meta’s Fundamental AI Research (FAIR)-divisie, zal naar verluidt die functie verlaten om zijn eigen AI-onderzoekslaboratorium te starten. LeCun is van plan de komende maanden te vertrekken en is al vroeg begonnen met fondsenwervingsgesprekken om zijn nieuwe onderneming te ondersteunen, aldus de rapporten. De nieuwe startup zal zich richten op het bouwen van ‘wereldmodellen’, of AI-systemen die leren van afbeeldingen, video en ruimtelijke gegevens in plaats van uitsluitend te vertrouwen op tekst en grote taalmodellen.
Na het ontwikkelen van open-source Llama-modellen die achterop raakten bij andere LLM’s, heeft Meta een zeer goede ontwikkeling doorgemaakt weelderige rekruteringsgolf naar arbeidskracht onderzoekers van wereldklasse voor een nieuwe poging om state-of-the-art modellen te bouwen. Meta’s nieuwste modellen, zeggen bronnen, zullen waarschijnlijk closed-source zijn en zullen naar verwachting dezelfde algemene architectuur en trainingsmethoden volgen die worden gebruikt door rivalen als OpenAI en Anthropic.
Met andere woorden, ze zullen blijven vertrouwen op dezelfde transformatorarchitectuur die in 2017 bij Google is uitgevonden (die de start gaf van de generatieve AI-boom), terwijl ze voortdurend meer trainingsgegevens en rekenkracht zullen gebruiken om intelligentiewinst te behalen. LeCun heeft zich kritisch uitgelaten over die aanpak, en twijfels dat het AI heeft geproduceerd die echt redeneert, in plaats van alleen maar patronen te detecteren en het volgende woord of pixel in een reeks voorspelt.
LeCun heeft opgeroepen tot meer fundamenteel onderzoek naar alternatieve paden die sneller zouden kunnen leiden tot AI-modellen die de menselijke intelligentie kunnen evenaren of zelfs overtreffen. Zijn recente onderzoek heeft zich gericht op ‘wereldmodellering’ – het ontwikkelen van AI-systemen die in staat zijn snel over de fysieke wereld te leren, net zoals menselijke baby’s dat doen.
Verwacht dus dat het nieuwe bedrijf van LeCun nieuwe soorten modellen, of systemen van modellen, zal bouwen die aspecten van de echte wereld, inclusief de natuurkunde, op nieuwe manieren leren en vertegenwoordigen. Het is waarschijnlijk dat deze modellen zullen worden getraind door duizenden uren video te bekijken, in plaats van te vertrouwen op tekst of stilstaande beelden. Ze zullen waarschijnlijk ook meer nuances van de echte wereld kunnen vastleggen, zoals staatsveranderingen en transities (hoe omgevingen veranderen en evolueren), dan de huidige modellen. Succes zou kunnen betekenen dat er AI-systemen of robots worden gecreëerd met een veel geavanceerder inzicht in de wereld en hoe we daarin actie kunnen ondernemen, en die veel beter zijn in het voortdurend leren van de wereld en deze opnieuw vormgeven, zoals wij mensen dat doen.
Marc Andreessen gaat voor een goedkoop schot op de paus, maar krijgt te maken met terugslag
Marc Andreessen, van het legendarische VC-bedrijf Andreessen Horowitz, is een AI-accelerator die iedereen op Twitter zou kunnen blokkeren, zelfs als hij suggereert dat de industrie meer tijd zou moeten besteden aan veiligheid en afstemming. Nu krijgt hij te maken met terugslag omdat hij afgelopen weekend op X op de paus had geschoten toen de Heilige Stoel opriep tot moraliteit in de technologie.
De paus tweette dat de bouwers van onze AI-toekomst “systemen moeten ontwikkelen die rechtvaardigheid, solidariteit en oprechte eerbied voor het leven weerspiegelen.” (Zie de hele tweet hier.) Dat was genoeg om Andreessen, een toegewijde MAGA-cheerleader en naaste adviseur van president Trump op het gebied van technische kwesties, te triggeren.
Andreessen voerde geen argument aan, maar plaatste een meme die bedoeld was om een spottende en afwijzende reactie op de boodschap van de paus over te brengen. De meme was een foto van GQ’s Katherine Stoeffel wijst met een “Waar heb je het verdomme over?” uitdrukking bij actrice Sydney Sweeney tijdens een recent interview. Andreessen verwijderde de tweet, maar niet voordat velen aan de technische kant van Twitter hem zagen.
Sommigen maakten er bezwaar tegen dat een miljardair VC zo vrolijk reageerde op de letterlijke paus. Anderen merkten de ironie op dat Twitter Andreessen aandoet zoals Andreessen anderen heeft aangedaan. “Behoorlijk grappig/surrealistisch om te zien hoe @pmarca de afgelopen tien jaar de ontwaakte annuleringsmenigtes ontweek, om vervolgens in de handen te komen van de zeer religieuze denominatie die de annuleringscultuur in de 15e eeuw heeft uitgevonden”, zegt VC Lee Edwards. opgemerkt.
Weer anderen waren het oneens met het idee dat Andreessen leek over te brengen, namelijk dat durfkapitaalbedrijven moeten investeren in technologieën die waarde aantonen en geld verdienen, ongeacht of de technologie de wereld een betere of slechtere plek zal maken of misschien een veiliger of gevaarlijker plek.
Eén daarvan was de alom gevolgde tech-commentator @groeiende_daniel over X. “Als je je leven gaat wijden aan het opbouwen van iets… wat ik wil zeggen is dat je moreel moet nadenken”, zei “Daniel” op de TBPN videocast na de paustweet van Andreessen. “Het hele punt van de paus was dat je daarover moet nadenken en moet proberen goede dingen te doen.”
Daniel erkende dat Andreessen en a16z veel geld hebben geïnvesteerd in software-as-a-service-bedrijven die bedrijven beter hebben laten draaien. Maar hij haalt ook de $15 miljoen van a16z aan investering in Cluelyeen startup die zijn app oorspronkelijk factureerde als een hulpmiddel om ‘alles te bedriegen’ (dat wil zeggen sollicitatiegesprekken, examens of verkoopgesprekken).
Hoe Fei-Fei Li de geschiedenis van AI sinds ImageNet beschrijft
Fei-Fei Li speelde een grote rol bij het op gang brengen van de huidige AI-revolutie toen ze in 2012 de BeeldNet dataset voor beeldtraining die AI-modellen leerde hoe ze afbeeldingen moesten classificeren. Op 12 november bracht haar nieuwe bedrijf, World Labs, haar eerste model uit, Marmereen ‘wereldmodel’ dat inzicht heeft in de samenstelling van 3D-omgevingen (zoals mensen dat doen) en deze kan voorstellen en genereren op basis van tekst, afbeeldingen of video die door de gebruiker zijn geüpload. Deze omgevingen kunnen volgens haar voor alles worden gebruikt, van game-ontwikkeling tot VFX-ontwerp en digitale tweelingen. Van ImageNet tot wereldmodellen, Li heeft een lange weg afgelegd. Toen ik haar sprak, vroeg ik haar om haar kijk op de AI-revolutie te beschrijven zoals die tot nu toe heeft plaatsgevonden. Dit is wat ze zei.
Ik denk dat het wereldmodel een redelijk natuurlijke maar belangrijke voortzetting is van het generatieve AI-tijdperk. Het generatieve AI-tijdperk is het nieuwste van het . . . revolutie in diepgaand leren. … In 2012 zijn we de deep learning-revolutie begonnen door de drie krachten van AI duidelijk vast te stellen: het neurale netwerk, data en computerchips of GPU’s. Elke vooruitgang die we tot nu toe op het gebied van AI hebben geboekt, blijft afhankelijk van de kracht van deze drie fundamentele elementen van moderne AI. En een van de belangrijkste mijlpalen was het transformatormodel. De sequentie-tot-sequentie-modellering voor taal ontsloot in feite een vrij krachtige schaalwet die aanleiding gaf tot grote modellen die door een grote hoeveelheid gegevens kunnen worden getraind en zeer krachtig en generaliseerbaar kunnen worden. Als eerste kwamen grote taalmodellen uit de bus.
En de afgeleide van grote taalmodellen zijn deze multimodel grote taalmodellen (die niet alleen woorden begrijpen, maar ook audio, video, afbeeldingen en code). Ze zijn nog steeds gebouwd op de ruggengraat van grote taalmodellen. Maar ik denk dat het grote wereldmodel echt een belangrijke stap is in de richting van het ontsluiten van de mogelijkheden van AI.
Interessant genoeg suggereert Li dat terwijl de AI-industrie modellen nastreeft die over het algemeen net zo intelligent zijn als mensen, en dan over het algemeen veel intelligenter, onderzoekers wellicht moeten vertrouwen op meer dan alleen de transformatormodelarchitectuur die de industrie in 2017 in vuur en vlam zette en leidde tot zaken als ChatGPT. (De ‘GPT’ staat voor ‘generative pre-trained transformer.’) Ze legt uit:
Ik zou zeggen dat dit verder gaat dan de transformator. Het is nog vroeg. De modelarchitectuur is dus nog onderwerp van onderzoek. Maar je weet dat de recente vooruitgang op het gebied van transformatormodellen (en) diffusiemodellen en meer deel uitmaken van de verkenning, maar ik zou het niet echt noemen vanwege transformatoren.
Meer AI-dekking van Snel bedrijf:
- Anthropic en Microsoft kondigen nieuwe AI-datacenterprojecten aan in Texas, New York en Georgia
- Michael Caine en Matthew McConaughey krijgen AI-stemklonen met ElevenLabs
- Fei-Fei Li’s World Labs onthult zijn wereldgenererende AI-model
- Agentische AI is niet altijd het antwoord
Wilt u exclusieve rapportage en trendanalyse over technologie, bedrijfsinnovatie, de toekomst van werk en design? Schrijf je in voor Snel bedrijf Premie.
