De robots komen eraan – en ze hebben een goede kaart nodig om zich te verplaatsen, of ze nu onze pakketten afleveren, ons rondrijden of een van de talloze andere taken uitvoeren die robothelpers in de toekomst voor ons kunnen uitvoeren.
“Zonder ruimtelijke intelligentie kan je robot echt niet doen wat jij wilt”, zegt John Hanke, de voormalige CEO van Niantic Spatial. overgegaan een week geleden in de rol van uitvoerend voorzitter van het bedrijf. “Uw Roomba werkt alleen in uw huis. Maar nu we op het punt staan om op stadsschaal te gaan werken, hebben we deze grote, grootschalige, gedeelde, nauwkeurige weergaven van de wereld nodig.”
Deze week zet Niantic de volgende stap in de richting van het bouwen van die kaart: het bedrijf lanceert zijn nieuwe Scaniverse-platform, dat tot doel heeft bedrijven en individuen de tools te geven om de wereld vast te leggen met telefoons, 360-gradencamera’s en drones, en die gegevens vervolgens samen te voegen tot een enorme 3D-kaart waarmee robots met nauwkeurigheid op centimeterniveau door de wereld om ons heen kunnen navigeren.
Het is een heel andere aanpak dan de manier waarop bedrijven als Google het probleem traditioneel hebben benaderd, zoals Hanke uit de eerste hand weet doordat hij twintig jaar geleden leiding gaf aan Google’s mapping-inspanningen. “Het probleem met de Google-aanpak, nadat je die hebt nageleefd, is: je stuurt alle auto’s erop uit en neemt alle straten in beslag”, zegt Hanke. “Dan wordt er een nieuwe weg aangelegd. Alles verandert. Je loopt altijd achter. Je gegevens zijn altijd verouderd. Ze zijn altijd oud. En ze zijn erg kapitaalintensief.”
En hoewel een verouderde kaart voor mensen vervelend kan zijn, is deze voor een robot vrijwel waardeloos. “Je wilt dat het een levende kaart is, en geen statische reconstructie”, zegt Hanke.
Een app voor liefhebbers wordt een enterprise-platform
Niantic bedacht zijn bottoms-up, gedistribueerde benadering van mapping toen het werkte aan de populaire mobiele game Pokémon Go, en moest echte oriëntatiepunten omzetten in virtuele slagvelden voor zijn miljoenen spelers. Toen het bedrijf een jaar geleden Pokémon Go verkocht en omgedoopt tot Niantic Spatial, verdubbelde het zijn inspanningen op het gebied van 3D-kaarten en sloot het deals met roboticabedrijven en anderen om te profiteren van de georuimtelijke gegevens.
Het nieuwe Scaniverse-platform van het bedrijf is gebaseerd op een app voor 3D-enthousiastelingen van het bedrijf gekocht vijf jaar geleden.
In de eerste iteraties was de Scaniverse-app vooral gericht op het laten vastleggen van kleinere objecten in 3D. Om dit te doen, zouden Scaniverse-gebruikers hun telefooncamera langzaam rond een dergelijk object bewegen, en vervolgens zou de app de vastgelegde beelden omzetten in een driedimensionale weergave ervan. Sinds de overname heeft Niantic Scaniverse uitgebreid zodat gebruikers ook hele kamers kunnen scannen, terwijl alle gegevens nog steeds lokaal op de telefoon van een gebruiker worden verwerkt.
Nu zet Niantic de volgende stap met de lancering van cloudgebaseerde videoverwerking en een speciale Scaniverse-website. Enterprise-klanten kunnen die website gebruiken om beelden van verschillende apparaten te uploaden, waaronder niet alleen telefoons, maar ook 360-gradencamera’s en drones, en die beelden vervolgens te laten omzetten in een 3D-model.
Het toevoegen van 360-gradencamera-ondersteuning was een gamechanger voor het bedrijf. “Je camera ziet wat zich voor je bevindt, wat zich achter je, boven je en onder je bevindt”, zegt Niantic Spatial Senior Product Manager Azad Balabanian. “Dit is uiterst belangrijk om zeer meeslepende (scans) te kunnen realiseren.”
Vorige maand liet Niantic me een groot plein scannen voor de Ferry Building in San Francisco, waar het bedrijf is gevestigd. Het vastleggen van dit gebied was uiterst eenvoudig: ik droeg gewoon een 360 graden camera op een selfiestick terwijl ik nonchalant een grote lus liep – een proces dat misschien vijf minuten duurde. Nadat de beelden naar Scaniverse waren geüpload, verwijderde het platform automatisch elk spoor van mij en gaf het vervolgens het hele vierkant in 3D weer:
Om de vastgelegde videobeelden om te zetten in een 3D-model, gebruikt Scaniverse een technologie die bekend staat als Gaussiaanse splatting. In wezen verandert Gaussiaanse splatting 2D-beelden in een groot aantal driedimensionale klodders die een verschillende mate van transparantie bieden en vanuit alle hoeken kunnen worden bekeken. Gaussiaanse splatting is een van de meest veelbelovende manieren geworden om ruimtes in 3D vast te leggen. Het is ook zijn gebruikt door Meta om echte kamers voor virtuele werelden vast te leggen.
Niantic heeft zijn eigen versie uitgebracht VR-kijkapp voor Scaniverse-scans vorig jaar. Nu richt het bedrijf zich er niet alleen op om zijn scans er goed uit te laten zien voor mensen, maar ook om ze betekenisvol te maken voor robots AI algoritmen. “Gaussiaanse splatting kan erg lastig zijn”, legt Balabanian uit. “Dingen zien er misschien goed uit, maar hebben eigenlijk geen echte oppervlakken.”
Simpel gezegd: een wit geverfde muur kan er bijna niet te onderscheiden zijn van een muur van mist tot een 3D-scanapp. Dat is de reden waarom Niantic-onderzoekers zich ontwikkelden een diepteschattingsmodel voor het Scaniverse cloudverwerkingsplatform dat harde oppervlakken nauwkeurig vastlegt waar een robot tegenaan kan botsen. “We kunnen diepte op lidar-niveau bereiken zonder Lidar nodig te hebben”, zegt Balabanian, verwijzend naar de lasersensoren die door zelfrijdende auto’s worden gebruikt om veilig door straten te navigeren.
3D voor bouwbedrijven, Hollywood en AI
Enkele van de sectoren waarop Niantic zich richt met zijn nieuwe Scaniverse-platform zijn onder meer de bouw, logistiek en nutsvoorzieningen, allemaal industrieën die grote, complexe locaties verwerken. Het hebben van 3D-modellen van deze locaties kan helpen bij de planning en het onderhoud, maar stelt de bedrijven ook in staat om uiteindelijk robots door hun magazijnen en energiecentrales te laten navigeren.
Het bouwen en trainen van robots, en de AI-modellen die worden gebruikt om ze te laten werken, vereist ook een heleboel 3D-gegevens. “Robots hebben veel trainingsgegevens nodig en (bedrijven) willen dingen in trainingsomgevingen simuleren voordat ze deze inzetten”, zegt Balabanian. “Als je er zeker van wilt zijn dat je robot echt goed werkt op een echte plek, kun je dat het beste doen door de plek zelf in kaart te brengen.”
Zelfs Hollywood kan profiteren van technologieën als Gaussiaanse splatting, en bijvoorbeeld filmlocaties scannen om opnames te plannen, en het soort ruwe conceptbeelden genereren dat onder studio-insiders bekend staat als pre-visualisatie.
Maar terwijl Niantic Spatial zijn aanbod nu uitbreidt naar het bedrijfsleven, is het de hobbyisten en enthousiastelingen niet vergeten die van Scaniverse een vroeg succesverhaal op het gebied van 3D-scannen hebben gemaakt. Voorlopig biedt het bedrijf afzonderlijke consumenten- en bedrijfsaccounts aan voor Scaniverse. Uiteindelijk wil het deze twee versies van het platform samenvoegen en liefhebbers en prosumers ook toegang geven tot cloudgebaseerde verwerking.
Het is een knipoog naar Niantic’s wortels in de consumentenwereld – dezelfde wortels die het bedrijf ertoe brachten om te wedden op eenvoudige telefoongebaseerde apps in plaats van een dure vloot van met camera’s uitgeruste auto’s om de wereld te scannen. “We hebben in eerste instantie heel veel ontwikkeld met heel weinig”, zegt Balabanian. “Alle dingen die we hebben ontwikkeld voor consumententoepassingen zijn nu springplanken voor de onderneming.”
