Designing a physical interaction layer for a multimodal storytelling App for children users of AAC

This thesis presents the design of a tangible interaction layer for AACreative, an existing tablet application that uses symbol-based input and AI-generated multimodal storytelling to support minimally verbal children who use Augmentative and Alternative Communication (AAC) systems. While AACreative successfully combines AAC pictograms with narrative generation, its reliance on touchscreen interaction limits accessibility for children with motor impairments and constrains the spatial, participatory dimension of the storytelling experience. This work investigates how a physical interaction layer, grounded in the theoretical tradition of Tangible User Interfaces, can extend the system's expressive and therapeutic potential. The design process followed a user-centered, iterative approach structured around three interrelated profiles: the AAC user, the speech-language therapist, and the caregiver. Research methods included an exploratory review of digital content, semi-structured interviews with speech-language therapists, and a caregiver in Italy and Colombia, and the observation of recorded therapy sessions at the Istituto Neurologico Carlo Besta. These methods surfaced recurring themes, including the central role of the caregiver as mediator, the necessity of personalization at both visual and linguistic levels, the relevance of motor accessibility as a design constraint, and the therapeutic value of narrative as a higher-order communicative function. Two sketches in hardware were developed to translate these findings into a working interaction model based on NFC-tagged physical cards read through an ESP32 microcontroller. The first established the core interaction flow using serial communication; the second integrated the physical layer directly into the AACreative production application via Bluetooth Low Energy, enabling the AAC user profile compose and navigate AI-generated stories entirely through tangible manipulation. A co-creation session held at the Istituto Neurologico Carlo Besta brought the second sketch into direct contact with speech-language therapists, generating insights that informed a series of proposed adjustments to both the physical setup and the AACreative application's user experience, including card categorization aligned with narrative composition questions, color-coding for grammatical roles, restructured storybook pages, and refinements to the story generation prompt aimed at improving narrative coherence.

Questa tesi presenta la progettazione di uno strato di interazione tangibile per AACreative, un'applicazione per tablet già esistente che utilizza input basati su simboli e narrazione multimodale generata tramite intelligenza artificiale per supportare bambini minimamente verbali che utilizzano sistemi di Comunicazione Aumentativa e Alternativa (CAA). Sebbene AACreative combini efficacemente i pittogrammi CAA con la generazione narrativa, la sua dipendenza dall'interazione tramite touchscreen limita l'accessibilità per i bambini con compromissioni motorie e riduce la dimensione spaziale e partecipativa dell'esperienza narrativa. Questo lavoro indaga come uno strato di interazione fisica, fondato sulla tradizione teorica delle Tangible User Interfaces, possa estendere il potenziale espressivo e terapeutico del sistema. Il processo di progettazione ha seguito un approccio iterativo e centrato sull'utente, strutturato attorno a tre profili interconnessi: l'utente CAA, il logopedista e il caregiver. I metodi di ricerca includono una revisione esplorativa di contenuti digitali, interviste semi-strutturate con logopediste e un caregiver in Italia e in Colombia, e l'osservazione di sessioni terapeutiche registrate presso l'Istituto Neurologico Carlo Besta. Questi metodi hanno fatto emergere temi ricorrenti, tra cui il ruolo centrale del caregiver come mediatore, la necessità di personalizzazione sia a livello visivo che linguistico, la rilevanza dell'accessibilità motoria come vincolo progettuale, e il valore terapeutico della narrazione come funzione comunicativa di livello superiore. Sono stati sviluppati due sketch in hardware per tradurre questi risultati in un modello di interazione funzionante, basato su carte fisiche dotate di tag NFC lette tramite un microcontrollore ESP32. Il primo ha definito il flusso di interazione di base utilizzando comunicazione seriale; il secondo ha integrato lo strato fisico direttamente nell'applicazione AACreative in produzione tramite Bluetooth Low Energy, consentendo al profilo dell'utente CAA di comporre e navigare storie generate dall'intelligenza artificiale interamente attraverso la manipolazione tangibile. Una sessione di co-creazione svolta presso l'Istituto Neurologico Carlo Besta ha messo il secondo sketch a diretto contatto con logopediste, generando spunti che hanno orientato una serie di proposte di adeguamento sia al setup fisico sia all'esperienza utente dell'applicazione AACreative, tra cui la categorizzazione delle carte in linea con le domande di composizione narrativa, una codifica a colori per i ruoli grammaticali, una riorganizzazione delle pagine del libro di storie, e perfezionamenti del prompt di generazione narrativa volti a migliorare la coerenza della storia.