Een team van onderzoekers onder leiding van Nvidia heeft vrijgegeven DroomDojoeen nieuw AI-systeem dat is ontworpen om robots te leren omgaan met de fysieke wereld door tienduizenden uren menselijke video te bekijken – een ontwikkeling die de tijd en kosten die nodig zijn om de volgende generatie mensachtige machines te trainen aanzienlijk zou kunnen verminderen.
De onderzoekdeze maand gepubliceerd en met medewerking van medewerkers van UC Berkeley, Stanfordde Universiteit van Texas in Austinen verschillende andere instellingen, introduceren wat het team ‘het eerste robotwereldmodel in zijn soort noemt dat na de training een sterke generalisatie naar diverse objecten en omgevingen vertoont’.
In de kern van DroomDojo is wat de onderzoekers omschrijven als “een grootschalige videodataset” bestaande uit “44.000 uur aan diverse menselijke egocentrische video’s, de grootste dataset tot nu toe voor de voortraining van wereldmodellen.” De dataset, genaamd DreamDojo-HVis een dramatische schaalsprong: “15x langere duur, 96x meer vaardigheden en 2.000x meer scènes dan de voorheen grootste dataset voor wereldmodeltraining”, aldus de projectdocumentatie.
Binnen het tweefasentrainingssysteem dat robots leert zien als mensen
Het systeem werkt in twee verschillende fasen. Eerst, DroomDojo “verwerft uitgebreide fysieke kennis uit grootschalige menselijke datasets door vooraf te trainen met latente acties.” Vervolgens ondergaat het een “post-training over de doeluitvoering met continue robotacties” – waarbij het in wezen de algemene natuurkunde leert door naar mensen te kijken, en die kennis vervolgens verfijnt voor specifieke robothardware.
Voor bedrijven die humanoïde robots overwegen, pakt deze aanpak een hardnekkig knelpunt aan. Om een robot te leren objecten in ongestructureerde omgevingen te manipuleren, zijn traditioneel enorme hoeveelheden robotspecifieke demonstratiegegevens nodig, die duur en tijdrovend zijn om te verzamelen. DroomDojo omzeilt dit probleem door gebruik te maken van bestaande menselijke video, waardoor robots kunnen leren van observatie voordat ze ooit een fysiek object aanraken.
Eén van de technische doorbraken is snelheid. Via een distillatieproces bereikten de onderzoekers “realtime interacties bij 10 FPS gedurende meer dan 1 minuut” – een mogelijkheid die praktische toepassingen mogelijk maakt, zoals live teleoperatie en on-the-fly planning. Het team demonstreerde dat het systeem op meerdere robotplatforms werkte, waaronder de GR-1, G1, AgiBotEn YAM humanoïde robots, die laten zien wat zij ‘realistische actie-geconditioneerde uitrol’ noemen in ‘een breed scala aan omgevingen en objectinteracties’.
Waarom Nvidia groot inzet op robotica nu de uitgaven voor AI-infrastructuur enorm stijgen
De release komt op een cruciaal moment voor de robotica-ambities van Nvidia – en voor de bredere AI-industrie. Bij de Wereld Economisch Forum CEO Jensen Huang verklaarde vorige maand in Davos dat AI-robotica een “once-in-a-generation” kans vertegenwoordigt, vooral voor regio’s met sterke productiebasissen. Volgens DigitimesHuang heeft ook verklaard dat het komende decennium “een kritieke periode van versnelde ontwikkeling van roboticatechnologie” zal zijn.
De financiële belangen zijn enorm. Huang vertelde op 6 februari in het ‘Halftime Report’ van CNBC dat de kapitaaluitgaven van de technologie-industrie – die dit jaar mogelijk 660 miljard dollar kunnen bereiken door grote hyperscalers – “gerechtvaardigd, passend en duurzaamHij typeerde het huidige moment als ‘de grootste infrastructuuruitbreiding in de menselijke geschiedenis’, waarbij bedrijven als Meta, Amazon, Google en Microsoft hun AI-uitgaven dramatisch verhogen.
Die impuls aan de infrastructuur verandert het robotica-landschap al opnieuw. Robotica-startups hebben een record gevestigd 26,5 miljard dollar in 2025Dat blijkt uit gegevens van Dealroom. Europese industriële reuzen inclusief Siemens, Mercedes-BenzEn Volvo hebben het afgelopen jaar robotica-partnerschappen aangekondigd, terwijl Tesla-CEO Elon Musk dat heeft beweerd 80 procent van de toekomstige waarde van zijn bedrijf zal komen van de mensachtige Optimus-robots.
Hoe DreamDojo de implementatie en het testen van bedrijfsrobots zou kunnen transformeren
Voor technische besluitvormers die humanoïde robots evalueren, ligt de meest directe waarde van DreamDojo wellicht in de simulatiemogelijkheden ervan. De onderzoekers benadrukken downstream-toepassingen, waaronder “betrouwbare beleidsevaluatie zonder implementatie in de echte wereld en op modellen gebaseerde planning voor verbetering van de testtijd” – mogelijkheden waarmee bedrijven robotgedrag uitgebreid kunnen simuleren voordat ze dure fysieke tests uitvoeren.
Dit is van belang omdat de kloof tussen laboratoriumdemonstraties en fabrieksvloeren aanzienlijk blijft. Een robot die feilloos presteert onder gecontroleerde omstandigheden worstelt vaak met de onvoorspelbare variaties van echte omgevingen – verschillende verlichting, onbekende objecten, onverwachte obstakels. Door te trainen op 44.000 uur aan uiteenlopende menselijke videobeelden, verspreid over duizenden scènes en bijna 100 verschillende vaardigheden, wil DreamDojo het soort algemene fysieke intuïtie opbouwen dat robots aanpasbaar maakt in plaats van broos.
Het onderzoeksteam, geleid door Linxi “Jim” Fan, Joel Jang en Yuke Zhu, met Shenyuan Gao en William Liang als co-eerste auteurs, heeft aangegeven dat de code publiekelijk zal worden vrijgegeven, hoewel er geen tijdlijn is gespecificeerd.
Het grotere geheel: Nvidia’s transformatie van gaminggigant naar robotica-krachtpatser
Of DroomDojo zich vertaalt in commerciële roboticaproducten valt nog te bezien. Maar het onderzoek geeft aan waar de ambities van Nvidia naartoe gaan, nu het bedrijf zich steeds verder positioneert buiten zijn gamingwortels. Als Kyle Barr observeerde bij Gizmodo eerder deze maand beschouwt Nvidia nu “alles wat met gaming en de ‘personal computer’ te maken heeft” als “uitschieters op de kwartaalspreadsheets van Nvidia.”
De verschuiving weerspiegelt een berekende weddenschap: dat de toekomst van computers fysiek is, en niet alleen digitaal. Nvidia heeft al geïnvesteerd $10 miljard aan Antropisch en maakte plannen bekend om zwaar te investeren in de volgende financieringsronde van OpenAI. DreamDojo suggereert dat het bedrijf humanoïde robots ziet als de volgende grens waar zijn AI-expertise en chipdominantie kunnen samenkomen.
Voorlopig vertegenwoordigen de 44.000 uur aan menselijke video in het hart van DreamDojo iets fundamentelers dan een technische maatstaf. Ze vertegenwoordigen een theorie: dat robots kunnen leren navigeren in onze wereld door ons erin te zien leven. Het blijkt dat de machines aantekeningen hebben gemaakt.
