Design and implementation of a multi-modal framework for scenic actions classification in autonomous actor-robot theatre improvisations

Social robotics aims to create autonomous robotic companions assisting humans both in work and leisure time, whose interaction mechanisms highly resemble those employed in interpersonal communication. Such goal is however far from being achieved, and no robot has been yet developed able to interact with humans in unconstrained settings. In this context the art of theatre can come into help, as an ideal workshop where to develop, in a controlled environment, the social aspects of the interaction. Several works in human-robot interaction have in fact adopted theatre as a training field, motivated by its ability to simulate reality and replicate structures of human communication. The work presented here follows this tradition as well, giving its contribution to novel forms of improvisation between human actors and robots. What is going to be proposed is in particular a framework to render an autonomous robot able to perceive the emotional state and intentions of the actor, detecting the scenic actions they perform on stage. Based on theories from neuroscience, psychology, acting and choreography, the framework acquires, processes and analyses in real-time several features of the actor’s performance, through a set of sensors mounted on the robot and computational algorithms. From collected features a classification into a discrete set of basic performative actions is derived, which timely characterises the actor’s attitude and intentions. This output can be subsequently attached as an input to third-party systems, to produce for instance a physical reply. In this way it will be possible to design cognitive pipelines of diverse complexity, adding modules related to the robot’s psychology, mobility and aesthetics. To ensure a functional and optimal behaviour, the implemented system has been designed using a mixture of both third-party open-source state-of-the-art algorithms and manually trained neural networks, choosing among the available solutions on the basis of several trade-offs, which are documented and compared in the document.

La robotica sociale ambisce a creare robot autonomi che interagiscano con le persone replicando i meccanismi propri della comunicazione umana. L’obiettivo è quello di integrarsi con i loro stati emotivi, reagendo di conseguenza per poterle aiutare (in diverse attività) nella maniera più naturale possibile. Quest’obiettivo rimane tuttavia ancora lontano, e nessun robot finora sviluppato è in grado di interagire con le persone in situazioni arbitrarie. In questo contesto è di grande aiuto l’arte del teatro, che si configura come un terreno ideale in cui testare gli aspetti sociali dell’interazione uomo macchina grazie alla sua capacità di simulare la realtà e le strutture comunicative del linguaggio. Diversi robot attori sono stati infatti sviluppati negli ultimi anni e il lavoro qui presentato si inserisce in questa linea di ricerca con l’obiettivo di creare nuove forme di improvvisazione teatrale tra robot e umani. Viene infatti proposto un framework per realizzare un robot autonomo capace di cogliere lo stato emotivo e le intenzioni dell’attore, identificando le azioni sceniche compiute sul palco. Questo framework acquisisce ed elabora in tempo reale dati quantitativi e qualitativi sulla performance dell’attore, attraverso opportuni sensori collegati al robot e metodi computazionali ispirati da teorie e modelli ripresi da neuroscienza, psicologia e coreografia, Da tali dati vengono classificate delle azioni performative di base, che caratterizzano in maniera puntuale l’attitudine e le intenzioni dell’attore nei confronti del robot. Questo output può essere inoltre usato da sistemi terzi, per realizzare una risposta fisica che faccia proseguire la scena. In questo modo è possibile realizzare pipeline cognitive di varia complessità ed espressività, andando a definire moduli legati agli aspetti psicologici, motori ed estetici del robot. Per garantire un funzionamento ottimale il sistema è stato progettato utilizzando sia tecnologie open-source sia implementando nuovi modelli come reti neurali, selezionando le opportune soluzioni attraverso un’analisi costi-benefici descritta nel corso del documento.