Tailored book : a distributed platform for authoring augmented communication books with language corpora referenced annotations

This project is an endeavor to facilitate the development of communication and language for children with complex disabilities by means of tailored books. The tailored book or “su misura” book is the well-known tool invented in Italy used to help children at a very early stage in all situations where there is at least the slightest doubt of possible difficulties in the future development of communication. The process of tailored books’ production is not easy and time-consuming, because there is no specifically adapted software available for this purpose. In this project I would like to propose a system that allows the creation, modification, visualization and distribution of such books. The system is composed of the desktop and mobile applications that are called “Tailored Book Editor” and “Tailored Book Reader” accordingly. “Tailored Book Editor” is responsible for the creation, editing, and publication of such books. “Tailored Book Reader” is responsible for visualization of tailored books created by “Tailored Book Editor” application. “Tailored Book Editor” takes as input a .txt file and a set of tagged images and produces a tailored book. The “Tailored Book Editor” contains also “Image Tagger” module which allows tagging images with the reference to lexical database. The creation of a tailored book is carried out from a text file that is then tagged using the POS tagger for assigning the part of speech to each word. The couple of the word and its part of speech is then sent to the lexical database WordNet that is used to find all synonyms for each couple. These synonyms or in other words tags are then assigned to each word of initial text file for further image assignment. The difference between text tagging and image tagging is that the image tagging requires supervision while the text tagging is done automatically. The design and implementation of such system are described below in this project.

Questo progetto è un tentativo di facilitare lo sviluppo della comunicazione e del linguaggio per bambini con disabilità complesse per mezzo di libri su misura. Il libro su misura è il ben noto strumento inventato in Italia che viene utilizzato per aiutare i bambini in una fase molto precoce in tutte le situazioni in cui c’è almeno il minimo dubbio di difficoltà nello sviluppo futuro della comunicazione. Il processo di produzione di libri su misura non è facile e richiede tempo, perché non c’è alcun software specificamente adattato per questo scopo. In questo progetto vorrei proporre un sistema che permette la creazione, la modifica, la visualizzazione e la distribuzione di tali libri. Il sistema è composto dalle applicazioni desktop e mobile che si chiamano rispettivamente “Tailored Book Editor” e “Tailored Book Reader“. “Tailored Book Editor” è responsabile per la creazione, la modifica e la distribuzione di tali libri. “Tailored Book Reader“ è responsabile per la visualizzazione di libri su misura creati da applicazione “Tailored Book Editor”. “Tailored Book Editor” prende come input un file .txt e un set di immagini marcate e produce un libro su misura. “Tailored Book Editor” contiene anche “Image Tagger”, un modulo che permette di etichettare le immagini, con il riferimento al database lessicale. La creazione del libro su misura viene effettuata da un file di testo che poi viene etichettato con POS tagger per assegnare le parti del discorso ad ogni parola. La coppia della parola e la sua parte del discorso viene poi inviata al database lessicale WordNet, che viene utilizzato per trovare tutti sinonimi di ogni coppia. Questi sinonimi - o in altre parole i tag - vengono quindi assegnati a ogni parola del file di testo iniziale per ulteriore l’assegnazione delle immagine. La differenza tra il tagging dei testi e il tagging dell’immagine è che l’annotazione delle immagine richiede la supervisione, mentre l’annotazione dei testi è fatto automaticamente. La progettazione e l’attuazione di tale sistema è descritto di seguito in questo progetto.