Designing interaction for enactive storytelling experiences

Companies are collecting and using personal data to propose personalized services. Content providers are pushing users to produce data in order to create personalized storytelling experiences. In such a context, the tech market is offering new low-cost solutions able to gather biodata. This research aims to investigate a new interaction paradigm that promises to seamlessly enable unconscious and enactive interactions for movie experiences. Today's technologies, increasingly invisible and pervasive, are able to know us better than we can imagine. The enactive paradigm in such a context can be applied to produce data in real-time. The main question such research asks is whether this data can be useful in an interactive narrative context for the design of enactive storytelling experiences. The research explores how the enactive paradigm can be applied, using eye-tracking and emotion-analysis technologies as input for enabling enactivity. The thesis focuses on interactive streaming experiences as a promising field of investigation for this new paradigm of interaction. Thus, seeing interactive storytelling as a tool for the investigation. The present research supports the idea that interaction design, with its perspective and practices, can be a way to explore these issues, and contribute to the development of new products and services as well as to the exploration of new paradigms, and therefore can provide a contribution for the development of society. The following study starts with an analysis of the state of the art of the use of data and personal data for the creation of tailored experiences and storytelling with particular attention to interactive narratives. Then the literature review brought to the identification of background knowledge on enactive cognitive approach and enactive cinema. Furthermore, this research explores the possibilities and contribution that today's unobtrusive technologies accessible to all can make to the enactive paradigm. The first part of the thesis clarifies the research aim providing also an analysis of different case studies related to interactive and tailored experiences highlighting technological, practical theoretical aspects. The case study research guides the reader through an incremental focusing on the enactive paradigm. The second part of the thesis consists of practical research. Through the creation and iteration of different prototypes in a research through design approach, the research aims to practically investigate the enactive paradigm, addressing more practical design issues. It explores the possibilities of eye-tracking and emotion recognition technologies into the design of enactive experiences through evidence-based explorations. Aiming at examining technologies to be involved in the creation of enactivity, the first prototype represented a starting point for the exploration and identification of potentialities of the use of eye-gaze as an input for controlling an interactive movie experience. Then, the second prototype implied emotion recognition as additional detected information that has been analyzed ex-post in order to verify the suitability of this technology for detecting emotional states so to further include it in the controlling of the interaction. The prototypes have been used as a matter of experimentation of a definition of possible new experimental areas of enactive interaction within the specific field of interaction design. The iterations of interactive prototypes and the investigations produced initial guidelines aimed at creating design areas of experimentation identifying the starting point for possible future directions. Moreover, the knowledge produced in this work can be considered as a quantum leap in design awareness, including the enactive paradigm in a context of design process and research through design.

Oggi le aziende raccolgono e utilizzano i dati personali per proporre servizi personalizzati, inoltre i fornitori di contenuti stanno spingendo gli utenti a produrre dati per creare esperienze di storytelling personalizzate. In questo contesto, il mercato tecnologico sta offrendo nuove soluzioni a basso costo in grado di raccogliere biodati. Questa ricerca mira ad indagare un nuovo paradigma di interazione che consente interazioni inconsce ed enattive per le esperienze cinematografiche. Le tecnologie di oggi, sempre più invisibili e pervasive, sono in grado di conoscerci meglio di quanto possiamo immaginare. Il paradigma enattivo in un simile contesto può essere applicato per produrre dati in tempo reale. La domanda principale che questa ricerca si pone è se questi dati possono essere utili in un contesto di narrazione interattiva per la progettazione di esperienze di narrazione enattiva. La ricerca esplora come il paradigma enattivo può essere applicato, utilizzando tecnologie di eye-tracking e di emotion-analysis come input per ottenere enattività. La tesi si focalizza sulle esperienze di streaming interattivo come promettente campo di indagine per questo nuovo paradigma di interazione. Quindi, vede lo storytelling interattivo come uno strumento di indagine. La presente ricerca sostiene l'idea che l'interaction design, con la sua prospettiva e le sue pratiche, può essere un modo per esplorare questi temi e contribuire allo sviluppo di nuovi prodotti e servizi, così come all'esplorazione di nuovi paradigmi, e quindi può fornire un contributo per lo sviluppo della società. Il seguente studio inizia con un'analisi dello stato dell'arte dell'uso dei dati e dei dati personali per la creazione di esperienze e narrazioni personalizzate, dando particolare attenzione alle narrazioni interattive. La ricerca bibliografica ha portato all'individuazione di conoscenze di base riguardanti l'approccio cognitivo enattivo e il cinema enattivo. Inoltre, questa ricerca esplora le possibilità e il contributo che le tecnologie non invasive, oggi accessibili a tutti, possono dare al paradigma enattivo. La prima parte della tesi chiarisce l'obiettivo della ricerca fornendo anche un'analisi di diversi casi di studio relativi ad esperienze interattive e personalizzate, evidenziando gli aspetti tecnologici, teorici, e pratici. Inoltre la ricerca di casi studio guida il lettore in modo incrementale all’interno del paradigma enattivo. La seconda parte della tesi consiste in una ricerca pratica. Attraverso la creazione e l'iterazione di diversi prototipi in un approccio di research through design, la ricerca mira ad indagare praticamente il paradigma enattivo, affrontando le questioni più concrete del design. Questa parte del lavoro esplora le possibilità delle tecnologie di eye-tracking e di emotion-recognition nella progettazione di esperienze enattive attraverso esplorazioni evidence-based. Il primo prototipo, finalizzato all'esame delle tecnologie da coinvolgere nella creazione dell'enattività, ha rappresentato un punto di partenza per l'esplorazione e l'identificazione delle potenzialità dell'uso dell'eye-gaze come input per il controllo di un'esperienza cinematografica interattiva. Poi, il secondo prototipo ha incluso uno strumento di emotion-recognition per ottenere delle informazioni aggiuntive che sono state analizzate ex-post per verificare la capacità di questa tecnologia nel rilevare gli stati emotivi, in modo da includerla successivamente nel controllo dell'interazione. I prototipi sono stati utilizzati come mezzo per la sperimentazione di una definizione di possibili nuove aree sperimentali di interazione enattiva all'interno dell’ambito specifico dell'interaction design. Le iterazioni dei prototipi interattivi e le indagini riportate in questa tesi hanno prodotto delle linee guida iniziali volte a creare aree di sperimentazione progettuale che individuano il punto di partenza per possibili direzioni future. Inoltre, le conoscenze prodotte in questo lavoro possono essere considerate come un salto di qualità nella consapevolezza del design, includendo il paradigma enattivo in un contesto di design process e di research through design. Le tecnologie di oggi, sempre più invisibili e pervasive, sono in grado di conoscerci meglio di quanto possiamo immaginare. Il paradigma enattivo in un simile contesto può essere applicato per produrre dati in tempo reale. La domanda principale che questa ricerca si pone è se questi dati possono essere utili in un contesto di narrazione interattiva per la progettazione di esperienze di narrazione enattiva. La ricerca esplora come il paradigma enattivo può essere applicato, utilizzando tecnologie di eye-tracking e di emotion-analysis come input per ottenere enattività. La tesi si focalizza sulle esperienze di streaming interattivo come promettente campo di indagine per questo nuovo paradigma di interazione. Quindi, vede lo storytelling interattivo come uno strumento di indagine. La presente ricerca sostiene l'idea che l'interaction design, con la sua prospettiva e le sue pratiche, può essere un modo per esplorare questi temi e contribuire allo sviluppo di nuovi prodotti e servizi, così come all'esplorazione di nuovi paradigmi, e quindi può fornire un contributo per lo sviluppo della società. Il seguente sutdio inizia con un'analisi dello stato dell'arte dell'uso dei dati e dei dati personali per la creazione di esperienze e narrazioni personalizzate, dando particolare attenzione alle narrazioni interattive. La ricerca bibliografica ha portato all'individuazione di conoscenze di base riguardanti l'approccio cognitivo enattivo e il cinema enattivo. Inoltre, questa ricerca esplora le possibilità e il contributo che le tecnologie non invasive, oggi accessibili a tutti, possono dare al paradigma enattivo. La prima parte della tesi chiarisce l'obiettivo della ricerca fornendo anche un'analisi di diversi casi di studio relativi ad esperienze interattive e personalizzate, evidenziando gli aspetti tecnologici, teorici, e pratici. Inoltre la ricerca di casi studio guida il lettore in modo incrementale all’interno del paradigma enattivo. La seconda parte della tesi consiste in una ricerca pratica. Attraverso la creazione e l'iterazione di diversi prototipi in un approccio di research through design, la ricerca mira ad indagare praticamente il paradigma enattivo, affrontando le questioni più concrete del design. Questa parte del lavoro esplora le possibilità delle tecnologie di eye-tracking e di emotion-recognition nella progettazione di esperienze enattive attraverso esplorazioni evidence-based. Il primo prototipo, finalizzato all'esame delle tecnologie da coinvolgere nella creazione dell'enattività, ha rappresentato un punto di partenza per l'esplorazione e l'identificazione delle potenzialità dell'uso dell'eye-gaze come input per il controllo di un'esperienza cinematografica interattiva. Poi, il secondo prototipo ha incluso uno strumento di emotion-recognition per ottenere delle informazioni aggiuntive che sono state analizzate ex-post per verificare la capacità di questa tecnologia nel rilevare gli stati emotivi, in modo da includerla successivamente nel controllo dell'interazione. I prototipi sono stati utilizzati come mezzo per la sperimentazione di una definizione di possibili nuove aree sperimentali di interazione enattiva all'interno dell’ambito specifico dell'interaction design. Le iterazioni dei prototipi interattivi e le indagini riportate in questa tesi hanno prodotto delle linee guida iniziali volte a creare aree di sperimentazione progettuale che individuano il punto di partenza per possibili direzioni future. Inoltre, le conoscenze prodotte in questo lavoro possono essere considerate come un salto di qualità nella consapevolezza del design, includendo il paradigma enattivo in un contesto di design process e di research through design.