Wereldlaboratoriade AI modelontwikkelaar, mede opgericht door AI-pionier Fei-Fei Li, heeft zijn 3D-ruimtegenererende model ‘Marble’ uitgebracht. In de Marble Labs websitekunnen makers nu tekstprompts, afbeeldingen of video’s van delen van een echte omgeving invoeren. Marble gebruikt ze om volledige 3D-omgevingen te creëren, die zowel binnenruimtes als uitgestrekte buitenruimtes kunnen omvatten.
Marmer kan 3D-werelden reconstrueren, genereren en simuleren. Zie het als een soort ‘wereldmodel’. In een interview met Snel bedrijfbeschrijft Li wereldmodellen als een “significante” evolutie van het generatieve AI-tijdperk. “Het grote wereldmodel is echt een belangrijke stap in de richting van het ontsluiten van de mogelijkheden van AI”, een categorie die zij “ruimtelijk” noemt. Ruimtelijke intelligentie verwijst naar het vermogen van een systeem om waar te nemen, te modelleren, erover te redeneren en acties te ondernemen binnen de fysieke of geometrische ruimte, vergelijkbaar met hoe mensen en dieren hun acties kiezen op basis van hun begrip van hun omgeving.
Wereldlaboratoria gelanceerd in september 2024, toen het begon te werken aan het Marble-model. Twee maanden geleden werd een preview van het model vrijgegeven aan een groep creatievelingen, die werelden begonnen te bouwen en feedback te geven.
Deze week plaatste Li een soort van manifest op Substack, met het argument dat ruimtelijke intelligentie de volgende grens is in AI. Voor mensen, zegt ze, vormt de ruimtelijke intelligentie van de fysieke wereld om ons heen de basis waarop we onze cognitie bouwen. “Ruimtelijke intelligentie zal de manier waarop we echte en virtuele werelden creëren en ermee omgaan transformeren – een revolutie teweegbrengen in het vertellen van verhalen, creativiteit, robotica, wetenschappelijke ontdekkingen en meer”, schrijft ze. World Labs is van mening dat het uitrusten van machines (waaronder robots) met dergelijke ‘ruimtelijke intelligentie’ de komende jaren voor een aantal industrieën transformatief zou kunnen zijn.
Via een webinterface kunnen gebruikers aan Marble een scènebeschrijving, afbeeldingen of video’s of grove 3D-lay-outs doorgeven, waarna het model een realistische 3D-omgeving genereert. Een gebruiker kan een reeks afbeeldingen invoeren uit de slaapkamer waar hij is opgegroeid en deze vervolgens uploaden naar Marble, dat ze vervolgens op intelligente wijze aan elkaar naait om een meeslepende digitale 3D-versie van de kamer te creëren.
De gebruiker kan vervolgens een reeks hulpmiddelen gebruiken om zijn slaapkamerrecreatie te verfijnen of uit te breiden, door kleine aanpassingen te doen, zoals het toevoegen van een klok. Of ze kunnen grotere veranderingen doorvoeren: een bureau en een stoel toevoegen of de hele kamer van een ander soort licht voorzien. Meer gevorderde gebruikers kunnen een ruwe 3D-scène creëren (of importeren), inclusief de belangrijkste elementen van een omgeving, en vervolgens tekstprompts gebruiken om de algehele stijl te bepalen.
Met de bewerkingstools “kun je het model herhalen en heen en weer gaan en op verschillende manieren bewerken hoe de wereld eruit ziet, om je te helpen die visie uit je hoofd te krijgen en die perfecte wereld te creëren”, zegt Justin Johnson, medeoprichter van World Labs. World Labs host ook een ‘hub’ waar mensen hun 3D-creaties kunnen delen.
Marble kan 3D-werelden weergeven, zodat andere makers, misschien met behulp van andere tools, erop kunnen voortbouwen of deze kunnen verbeteren. Het kan werelden genereren als Gaussiaanse splats, meshes of video’s: formaten die bekend zijn bij grafische professionals. “Dat is echt gaaf, omdat je dan die 3D-middelen kunt nemen en ze vervolgens kunt samenstellen met allerlei andere traditionele workflows”, zegt Johnson. “Je zou je driehoekige mesh kunnen nemen en deze in een spel kunnen laten vallen. Je zou je Gaussiaanse splat kunnen nemen en deze vervolgens kunnen gebruiken voor een VFX-opname en composiet en andere dingen.”
Bij generatieve AI is een Gaussiaanse splat de beste manier om 3D-objecten en -ruimten weer te geven. Het model genereert miljoenen of miljarden kleine ‘splats’: semi-transparante deeltjes die verschillende punten binnen een 3D-ruimte bezetten. Het zijn kleine, gladde klodders waarvan de helderheid, ondoorzichtigheid, kleur of dichtheid het grootst is in het midden, waarbij de waarden vloeiend in een klokvormige vorm naar nul aan de randen afnemen. De klodders verbinden zich vervolgens met hun buren, wat het soepele, consistente gevoel vergroot. Wanneer miljarden van deze splats elkaar overlappen, kunnen ze de gladde oppervlakken, kleuren en belichting van een 3D-scène benaderen.
Hoewel iedereen nu met Marble kan experimenteren, kunnen professionals zoals kunstenaars, ingenieurs en VFX-ontwerpers het nuttig vinden in hun werk. Li en haar medeoprichters, Ben Mildenhall, Johnson en Christoph Lassner, zeggen dat deze ‘ruimtelijke intelligentie’ een verscheidenheid aan industrieën zou kunnen transformeren, waaronder gaming, filmproductie en robotica.
Li, die tevens mededirecteur is van het Stanford Institute for Human-Centered AI, ontving onlangs de onderscheiding Koningin Elizabethprijs voor Techniek tijdens een ceremonie met koning Charles in Londen. Haar medeoprichters hebben ook indrukwekkende bona fides. Lassner ontwikkeld Pulsareen op bol gebaseerde renderer die de weg vrijmaakte voor 3D Gaussiaanse splatting. Johnson, die met Li werkte als afgestudeerde student aan Stanford, creëerde real-time stijloverdracht (waarin de visuele stijl van de ene afbeelding op de andere wordt toegepast), die werd ingezet door Meta, Snap en Prisma. Ben Mildenhall co-creëerde het neurale stralingsveld (NeRF)-methode, die een revolutie teweegbracht in de reconstructie van 3D-scènes.
World Labs biedt een gelaagd abonnement aan, te beginnen met een gratis niveau dat voldoende credits bevat om vier werelden te genereren. De hogere niveaus voegen meer credits en meer tools toe, waarbij het topabonnement $ 95 per maand kost.
