Steps towards the use of NLP in emotional theatre improvisation

This thesis is part of a larger attempt to create a theatre robot, and it explores the use of emotion models and personality models in improvisational theatre to create interactive storytelling experiences. The thesis proposes a framework for emotion-based interactive dialogues that forces the model into expressing emotion and personality, influencing the distribution of the tokens of the language model in order to encourage the use of the desired emotion in the output. Basing on the Myers-Briggs Type Indicator, 16 personalities are defined for the model, with the possibility to create and customize different new personalities in order to shape new characters for the play. The framework is evaluated through a series of case studies, which demonstrate the potential of the approach to create engaging and immersive storytelling experiences. The system is also enhanced with a model able to recognize sarcasm in the voice of the actor, trained on one of the most recent sarcasm datasets. The thesis also contributes to the research about infusing the generated speech with desired features, in this case emotional features. Overall, the thesis contributes to the field of interactive storytelling by demonstrating the potential of emotion-based approaches to create more engaging and immersive experiences.

Questa tesi fa parte di un tentativo più ampio di creare un robot teatrale, ed esplora l’uso di modelli di emozioni e modelli di personalità nell’improvvisazione teatrale per creare esperienze di narrazione interattive. La tesi propone una struttura per dialoghi interattivi, basati sulle emozioni, che forza il modello a esprimere emozioni e personalità, influenzando la distribuzione dei token del modello linguistico al fine di incoraggiare l’uso dell’emozione desiderata nell’output. Basandosi sull’indicatore del tipo Myers-Briggs, sono definite 16 personalità per il modello, con la possibilità di creare e personalizzare diverse nuove personalità per modellare nuovi personaggi per lo spettacolo. Il framework viene valutato attraverso una serie di esempi, che dimostrano il potenziale dell’approccio per creare esperienze di narrazione coinvolgenti e coinvolgenti. Il sistema è inoltre arricchito con un modello in grado di riconoscere il sarcasmo nella voce dell’attore, addestrato su uno dei più recenti set di dati sul sarcasmo. La tesi contribuisce anche alla ricerca su come infondere nel parlato generato le caratteristiche desiderate, in questo caso le caratteristiche emotive. Nel complesso, la tesi contribuisce al campo dello storytelling interattivo dimostrando il potenziale degli approcci basati sulle emozioni per creare esperienze più coinvolgenti e immersivi.