Exploiting accelerometers for emotion recognition in the Physical Metaverse context

In the last year the concept of Physical Metaverse has been introduced. This term refers to the experience where the subject perceives and acts in mixed reality (virtual and physical) embodied in a physical avatar such as a robot. In this paper, we analyze some methods to detect and classify human emotions in a Physical Metaverse context to obtain effective interaction. The specific interaction that was implemented aims at having the machine perceive and then simulate the emotions expressed by a subject. For this work, we relied on the development of a network of wearable devices based on accelerometers that can acquire data about the activity and posture of the human body, and then use Artificial Intelligence algorithms to detect emotions. We focused on learning systems such as RNNs, CNNs and DNNs. Finally, we evaluated the devised system by testing it in a controlled environment with a robot developed specifically for this purpose.

Nell'ultimo anno è stato introdotto il concetto di Physical Metaverse. Questo termine si riferisce all'esperienza in cui il soggetto percepisce e agisce in una realtà mista (virtuale e fisica) ed è incarnato in un avatar fisico quale un robot. In questo articolo, analizziamo alcuni metodi per rilevare e classificare le emozioni umane in un contesto di metaverso fisico per ottenere un'interazione efficace. La specifica interazione che è stata implementata mira a far percepire alla macchina, e quindi a simulare, le emozioni espresse da un soggetto. Per questo lavoro ci siamo affidati allo sviluppo di una rete di dispositivi indossabili basati su accelerometri in grado di acquisire dati sull'attività e sulla postura del corpo umano, e quindi abbiamo utilizzato algoritmi di Intelligenza Artificiale per rilevare le emozioni. Ci siamo concentrati su sistemi di apprendimento come RNN, CNN e DNN. Infine, abbiamo valutato il sistema ideato testandolo in un ambiente controllato con un robot sviluppato appositamente per questo scopo.