Ik heb onlangs gegeven mijn Open Klauw een echte robotarm om mee te spelen. De resultaten hebben mijn eigen neurale netwerk bijna opgeblazen.
De AI-agent kon de arm configureren, gebruiken om dingen te zien en langzaam vast te pakken, en zelfs een ander AI-model trainen om specifieke objecten op te pakken en te plaatsen. En ze zeggen dat AGI nog een paar jaar verwijderd is! (Ik maak een grapje, dat is waarschijnlijk zo).
De resultaten hebben mij ervan overtuigd dat we mogelijk aan de vooravond van een doorbraak op het gebied van de robotica staan. Het trainen en besturen van robots vereiste vroeger aanzienlijke vaardigheden. De huidige AI-modellen kunnen het bijna gemakkelijk maken.
“AI-aangedreven coderen is superspannend omdat het de potentie heeft om de kloof te overbruggen tussen conventionele engineeringmethoden, die betrouwbaar zijn maar niet generaliseren, en hedendaagse visie-taal-actiemodellen, die generaliseren maar nog niet betrouwbaar zijn”, zegt Ken Goldberg, een roboticus bij UC Berkeley die de aanpak onderzoekt.
Ik kocht een kant-en-klare arm genaamd a Le Robot 101. Het maakt deel uit van een open-sourceproject van HuggingFace dat het relatief goedkoop maakt om te beginnen met het bouwen en experimenteren met robotica.
De LeRobot wordt geleverd met twee armen: een controllerarm die een persoon bedient met behulp van een handvat en een trekker, en een volgerarm met een camera die deze bewegingen repliceert. Je kunt een AI-model trainen door de controllerarm tele te bedienen en het model te laten leren hoe het de volger moet bewegen als reactie op wat hij op de camera ziet.
Bouwen met OpenClaw
Voordat ik OpenClaw gebruikte, heb ik een aantal uren besteed aan het aansluiten en kalibreren van de robot, waarbij ik op een gegeven moment de motoren bijna kapot maakte door de verkeerde instellingen toe te passen, waardoor ze oververhit raakten.
Vervolgens kon ik, met hulp van OpenClaw en Codex, een eenvoudig programma coderen dat de grijper van de klauw sloot toen hij een rode bal zag. In de terminal doorliep Codex het lastige werk van het configureren van de verbindingen met de robot. Vervolgens kalibreerde het, met mijn hulp, de posities van zijn gewrichten. Het schreef ook een Python-script dat verschillende bibliotheken gebruikte om de bal in kwestie te identificeren en vast te pakken. Vibe-codering is natuurlijk niet perfect, en hallucinaties kunnen bugs introduceren, vooral als je met verschillende hardware werkt, maar de resultaten waren indrukwekkend.
