Afbeelding afkomstig uit de YouTube-video gemaakt door de auteurs (zie hieronder).
Een systeem ontwikkeld door onderzoekers van de Universiteit van Waterloo laat mensen samenwerken met groepen robots om kunstwerken te creëren die zijn geïnspireerd door muziek.
De nieuwe technologie maakt gebruik van meerdere robots op wielen ter grootte van voetballen die gekleurd licht volgen terwijl ze binnen een vast gebied op de vloer bewegen als reactie op belangrijke kenmerken van muziek, waaronder tempo en akkoordprogressie.
Een camera registreert de gecoördineerde lichtsporen terwijl ze door dat gebied slingeren, dat dient als canvas voor de creatie van een ‘schilderij’, of visuele representatie van de emotionele inhoud van een bepaald muziekstuk.
“In feite hebben we een zwerm robots geprogrammeerd om te schilderen op basis van muzikale input”, zegt dr. Gennaro Notomista, hoogleraar elektrische en computertechniek in Waterloo.
“Het resultaat is een samenhangend systeem dat niet alleen muzikale input verwerkt, maar ook meerdere schilderrobots coördineert om adaptieve, expressieve kunst te creëren die de emotionele essentie van de gespeelde muziek weerspiegelt.”
De robots vertegenwoordigen emotie terwijl ze naar muziek ‘luisteren’ via de kleuren, intensiteit en breedte van hun lichtsporen, maar ook via hun positie op het canvas en de snelheid waarmee ze zich daarin bewegen.
Mensen kunnen tegelijkertijd een schilderij in uitvoering beïnvloeden met behulp van bedieningselementen om de breedte van lichtsporen en hun locatie op het virtuele canvas te wijzigen.
“We hebben de menselijke controle-input toegevoegd om mensen en robots te laten samenwerken”, zegt Notomista, wiens interesses het snijvlak van kunst en technologie omvatten. “De menselijke schilder moet complementair zijn en aangevuld worden met wat de robots doen.”
De eerste uitdaging voor onderzoekers was het ontwikkelen van een algoritme om meerdere robots binnen een bepaald gebied te besturen. Ze hebben het systeem getest met maximaal twaalf robots, maar het kan worden geschaald om elk aantal robots aan te kunnen.
Stap twee betrof het creëren van technologie om muzikale kenmerken die emoties uitdrukken te extraheren en te analyseren, zodat ze vervolgens kunnen worden vertaald in lichtsporen die ze op de juiste manier vertegenwoordigen.
De lessen die tijdens het project zijn geleerd, hebben potentiële toepassingen op andere gebieden die de controle en coördinatie vereisen van meerdere robots die samenwerken, zoals milieumonitoring, precisielandbouw, zoek- en reddingsmissies en planetaire verkenning.
Het onderzoek weerspiegelt ook het Global Futures-initiatief van de Universiteit van Waterloo, dat interdisciplinair werk bevordert dat nagaat hoe opkomende technologieën de samenleving, cultuur en de menselijke ervaring kunnen vormgeven.
Later is Notomista van plan professionele schilders en muzikanten in te schakelen om de mogelijkheden van het nieuwe hulpmiddel te onderzoeken in gebruikersstudies en openbare tentoonstellingen te organiseren.
Een paper over het systeem, Music-driven Robot Swarm Painting, door Notomista en Jingde Cheng, een voormalig afgestudeerde studente in Waterloo, werd gepresenteerd op de 2025 IEEE Internationale Conferentie over geavanceerde robotica en de sociale gevolgen ervan.
Universiteit van Waterloo
