Teaching English prosody and pronunciation to Italian speakers : the KaSPAR approach

The work presented in this thesis derive from KaSPAR project, which is aimed at providing Italian speakers with dyslexia a software to improve English prosody and pronunciation. The basic idea consists in improving English prosody and pronunciation skills through the emulation of an English mother-tongue speaker. This work focus on the realization and implementation of a system able to provide prosody and pronunciation visualizations through intuitive graphs capable of giving effective feedback aimed at empower the expressive abilities. Through visual feedback, the student will be able to compare his/her skills with respect to the mother-tongue and will be able to obtain an evaluation about the pronunciation. The approach that was adopted is based on the utilization of some preexisting tools, in particular we use Praat for the sound manipulation, SPPAS for the text alignment and a pronunciation evaluation system based on phonetic alignment tool and automatic speech recognition. Actually the software has been thought for the English learning process, but it can be easily adaptable to other languages only if they are present in the alignment tool chosen and only if the pronunciation system is re-trained with the new language selected. The results obtained from the pronunciation evaluation are promising since the system behaves as expected even if they are affected by a noisy and too small training. Instead to evaluate the efficiency of the entire application it is necessary to wait for the long-term tests to be performed with people with dyslexia impairment. This evaluation system is open to future works aimed at extending its boundaries and obtaining more precise evaluations.

Il lavoro presentato in questa tesi deriva dal progetto KaSPAR, il cui scopo è offrire a parlatori italiani con dislessia un software per migliorare la prosodia e la pronuncia della lingua inglese. L'idea di base consiste nello stimolare il miglioramento della prosodia e della pronuncia attraverso l'emulazione di un madrelingua inglese. Questo lavoro si focalizza sulla realizzazione e implementazione di un sistema capace di visualizzare la prosodia e la pronuncia tramite grafici sufficientemente intuitivi in grado di fornire un feedback efficace volto ad aiutare l'utente a migliorare le proprie capacità espressive. Attraverso un feedback visivo, lo studente potrà comparare le proprie capacità con quelle di un madrelingua e ottenere una valutazione riguardo la pronuncia. L'approccio proposto si basa sull'utilizzo di strumenti preesistenti, in particolare di Praat per la manipolazione del suono, di SPPAS per l'allineamento del testo e di un sistema di valutazione della pronuncia basato su sistemi di allineamento fonetico e di riconoscimento vocale automatico. Attualmente, il software è stato pensato per l'apprendimento della lingua inglese, ma può essere facilmente adattabile per tutte le lingue purché siano presenti nel sistema di allineamento scelto e purché il sistema di valutazione della pronuncia venga allenato nuovamente con la lingua selezionata. I risultati ottenuti dalla valutazione della pronuncia sono promettenti in quanto in linea con le aspettative sebbene risentono di errori dovuti al dataset di training rumoroso e di dimensioni ridotte. Per valutare invece l'efficacia dell'intera applicazione è necessario aspettare l'esito dei test a lungo termine effettuati con persone con dislessia. Questo sistema di valutazione è aperto a lavori futuri mirati all'ampliamento del raggio di azione e all'ottenimento di valutazioni più precise.