Digital storytelling for people with intellectual disabilities : an intermediate language for executable representations

When looking at the field of applications to create animations and videos with the perspective of someone who wants to tell a simple animated story, we can note that such software tends to be more complex than what would be needed for such a simple need and this, in turn, makes it difficult to successfully use such applications in this field. One of the most important features that the software mentioned above sometimes is lacking is the possibility to abstract and personalize the main concepts useful for the description of a story. There are specific software that have such features, but they are either too specific (for example only for the creation of comics) or too generic (for instance for the creation of games, animations and similar). Therefore, with this thesis, we want to address such gap by providing tools to simplify the process to build an application targeted at the creation of animated stories. A good “one size fits all” solution is difficult to implement in this field; thus, we decided to design an intermediate language that abstracts the main concepts useful for the description of the story/animation, being flexible and independent from both the specific application user interface and the execution model. This allows programmers to focus on their specific needs in terms of storytelling, delegating a significant part of the technical details to our solution. To validate our approach and provide an example of use of Intermediate Language, we also applied it to the design and implementation of an application for storytelling that is easy to use and follows some requirements. The application allows to create and animated stories or life events, using your own imagination and your own voice, and to share or re-watch them at any time. This can be useful for different kinds of use cases, like rehabilitation or playing time for people with intellectual disabilities or children. The created application starts from a story in a personalized graphical language and leverages the intermediate language to generate a Scratch executable file. With tests on the field, we showed that the application can be really useful for the people with intellectual disabilities.

Guardando al campo delle applicazioni per creare animazioni o video dal punto di vista di chi necessita di raccontare una semplice storia animata, si può notare come tali software tendano ad essere più complessi di quanto sarebbe necessario e che questo renda difficile utilizzare con successo tali applicazioni in questo campo. I software sopra menzionati sono, talvolta, privi della possibilità di astrarre e personalizzare i concetti principali utili alla descrizione di una storia. Esistono software o piattaforme che dispongono di tali funzionalità, ma sono o troppo specifici (solo per creare fumetti) o troppo generici (per creare giochi e animazioni complesse). Con questa tesi vogliamo quindi colmare tale lacuna fornendo strumenti per semplificare il processo di realizzazione di un'applicazione mirata alla creazione di storie animate. Poiché ci è chiaro quanto realizzare una buona soluzione adatta a tutti gli scenari sia difficile in questo campo, abbiamo deciso di progettare un linguaggio intermedio che astragga i concetti principali utili per la descrizione della storia o animazione, essendo flessibile e indipendente sia dall'interfaccia utente che dal modello di esecuzione. Ciò consente ai programmatori di concentrarsi sulle proprie esigenze specifiche in termini di storytelling, delegando una parte significativa dei dettagli tecnici alla soluzione proposta. Per confermare la bontà del nostro approccio e fornire un esempio di utilizzo del Linguaggio Intermedio (LI), abbiamo realizzato un software per il "digital storytelling" che sia facile da usare e che rispetti alcuni requisiti preposti. L'applicazione consente di creare e animare storie o eventi quotidiani, utilizzando la propria immaginazione e voce, e di condividerli o rivederli online. Questo può essere utile per diversi casi d'uso, come la riabilitazione o il gioco per persone con disabilità intellettive o bambini. L'applicazione creata parte da una storia in un linguaggio grafico realizzato ad hoc e sfrutta il LI per generare un file eseguibile dalle piattaforme Scratch. Con i test svolti sul campo, abbiamo dimostrato che l'applicazione può essere davvero utile per le persone con disabilità intellettiva.