1001Storia, the last mile: usability testing and enhancement of an educational tool for digital storytelling

Collaborative digital storytelling (DST) is an excellent instrument for developing students’ digital literacy, comprehension skills and creativity. 1001Storia is a digital storytelling authoring tool developed by the HOC-LAB at the Polytechnic University of Milan. Since 2006, its use has been promoted within the context of PoliCultura, a competition organized by the Polytechnic University of Milan, which has seen the participation of more than 43,000 students and 3,200 teachers from 18 countries. This thesis was tasked with covering "the last mile" of the recent reengineering work of the tool, facing the challenging task of transitioning it from a laboratory prototype to a tool that can be effectively used on a large scale by thousands of students and teachers. The work focused on defining, analyzing, and testing use-cases and subsequently defining usability and quality requirements to prepare the platform for successful deployment. An initial analysis uncovered a series of issues and missed requirements that were addressed and resolved. Two usability testing phases followed, involving educators familiar with PoliCultura as expert testers.  The first session of testing was based on a "thinking aloud" paradigm, concerning the observation of three experts tasked to create a digital story using 1001Storia. Although the response to the platform was generally positive, testers’ unbiased interaction with the product not only allowed the identification of malfunctions but also highlighted issues in terms of usability, prompting the rethinking of certain elements.  These findings guided the planning and execution of an ulterior redesign of the application, which became the subject of the second phase of testing. This involved eight testers, who repeated the same tasks of the “thinking aloud” phase, this time in an unmoderated environment.  The results of both sessions of tests, obtained through a questionnaire and direct contact with the experts, were aggregated and analyzed; they informed a final enhancement of the platform. A final test involving a single classroom in a real school setting is scheduled for March 2024, occurring between the submission of my thesis document and the concluding discussion. The focus of this test will be the collaborative features of the platform (one of the possible future developments of this thesis). It is hoped that the platform will subsequently be considered ready for public deployment, beginning with the 2024-25 school year.

Il digital storytelling collaborativo (DST) rappresenta uno strumento eccellente per sviluppare le competenze digitali, la comprensione verbale e la creatività degli studenti. 1001Storia è uno strumento di authoring per il digital storytelling sviluppato da HOC-LAB (Politecnico di Milano). Dal 2006 il suo utilizzo è stato promosso nel contesto di PoliCultura, una competizione organizzata dal Politecnico di Milano che ha visto la partecipazione di più di 43,000 studenti e 3,200 insegnanti provenienti da 18 paesi. Questa tesi ha avuto il compito di coprire "l'ultimo miglio" del recente processo di reengineering dello strumento, affrontando l'impegnativo compito di convertirlo da un prototipo di laboratorio a uno strumento che possa essere usato efficacemente su larga scala da migliaia di studenti e insegnanti. Il lavoro si è concentrato sul definire, analizzare e testare gli use case e successivamente definire i requisiti di usabilità e qualità necessari a preparare la piattaforma a una efficace implementazione pubblica. Un'analisi iniziale ha individuato una serie di problematiche e di mancati requisiti che sono stati affrontati e risolti. Sono seguiti dei test di usabilità in due fasi, che hanno coinvolto degli educatori già familiari con PoliCultura come tester esperti. La prima sessione di test si è basata su un paradigma "thinking aloud" e ha riguardato l'osservazione di tre esperti a cui è stato dato il compito di creare una storia digitale usando 1001Storia. Nonostante il responso riguardo alla piattaforma sia stato generalmente positivo, l'interazione priva di pregiudizi dei tester con il prodotto non solo ha permesso l'identificazione di dei malfunzionamenti, ma ha anche sottolineato delle problematiche riguardanti l'usabilità, spingendo a una rivalutazione di alcuni elementi. Questi risultati hanno guidato la pianificazione ed esecuzione di un ulteriore redesign dell'applicazione, che è divenuto oggetto della seconda fase di test. Questa fase ha coinvolto otto tester, che hanno ripetuto gli stessi step richiesti nella fase "thinking aloud" in un ambiente questa volta non moderato. I risultati di entrambe le sessioni di test, ottenuti tramite un questionario e il contatto diretto con gli esperti, sono stati aggregati ed analizzati; hanno influenzato una fase finale di potenziamento della piattaforma. Un test finale che coinvolgerà una classe in un vero ambiente scolastico è pianificato per marzo 2024, tra la deposizione di questo documento di tesi e la sua discussione conclusiva.  Il focus di questo test saranno gli aspetti collaborativi della piattaforma (uno dei possibili sviluppi futuri di questa tesi). Ci si aspetta che la piattaforma sia successivamente da considerarsi pronta per un'implementazione pubblica con l'inizio dell'anno scolastico 2024-25.