Steps toward the implementation of an improvisational robot

The objective of social robotics is to develop robots capable of interacting with humans by selecting appropriate reactions that align with the context and the emotional state displayed by the human counterpart. Improvisational theatre provides an ideal environment for testing social behaviors in an unconstrained setting, as the stage exists outside the boundaries of time and space, allowing for customization and the creation of diverse situations. This project aims to improve an existing research system by enhancing the capabilities of a robot-actor. The robot is designed to perceive the emotions and movements of human actors in its environment, classify their actions, and subsequently respond coherently to engage in non-verbal turn-taking interactions. Our work encompasses three main dimensions: First, we integrated and tested the existing modules, focusing on improving the robot’s navigation, reaction, and movement abilities. Next, we explored the space of the robot’s reactions, introducing greater complexity to its expressions. To evaluate the system’s expressivity, we developed a validation setup involving human participants to measure their interpretations of the robot’s actions. Lastly, we employed a Machine Learning approach to train the robot to react in a context-dependent manner within the improvisational setting.

L’obiettivo della robotica sociale è quello di costruire robot in grado di interagire con gli esseri umani, selezionando reazioni adeguate che siano coerenti con il contesto e lo stato emotivo manifestato dalla persona. L’improvvisazione teatrale rappresenta un ambiente ideale per testare i comportamenti sociali in un contesto non vincolante, poiché il palcoscenico è uno spazio al di fuori delle regole di tempo e spazio, personalizzabile e in cui è possibile creare qualsiasi tipo di situazione. Il nostro progetto si propone di portare un sistema di ricerca già esistente ad un livello successivo. Utilizziamo un robot-attore in grado di percepire le emozioni e i movimenti degli attori nell’ambiente, classificare le loro azioni e reagire in modo coerente per avviare un’interazione non verbale a turni. Il nostro lavoro si sviluppa su tre diverse dimensioni: Innanzitutto, abbiamo integrato i moduli già esistenti, testato e migliorato le capacità di navigazione, reazione e movimento del robot. Successivamente, abbiamo esplorato lo spazio delle reazioni del robot, aggiungendo complessità e creando un sistema di validazione che coinvolge le persone per valutare l’espressività del sistema. Infine, abbiamo utilizzato un approccio di apprendimento automatico per imparare un comportamento di reazione che dipende dal contesto improvvisativo.