Learning English prosody and pronunciation through the KaSPAR application

The work presented in this thesis is a complete makeover of the KaSPAR project, whose purpose is to offer Italian speakers, especially those affected by dyslexia, a software to help them in learning and studying English. The project has been completely redesigned, extending and improving its functionalities The idea consists of inducing the student to emulate some phrases of a native English speaker, improving, with targeted exercises, some of the most important speech features: the intonation, the focus, the pronunciation of specific sentences and the rhythm. The work, therefore, consists of a system capable of displaying these characteristics of the voice, through intuitive graphics and, above all, of providing effective feedback to support the user in improving expressive abilities independently. To provide an efficient application, we analyzed these features and the related issues, implementing appropriate solutions to each case. We have particularly deepened the case of rhythm because there are different theories about its meaning and, thus, there isn’t a unique way to interpret it. This project was developed with the help of some existing tools, including Praat for sound analysis, libraries for forced aligning texts and a toolkit for automatic speech recognition and phonetic alignment. Currently, although the project was designed for exclusive learning of English, it would be sufficient to replace the respective models to adapt it to another language. The models used for the evaluation of pronunciation provide promising results as it is in line with expectations although they suffer from errors due to the training dataset. Also, the approach we use to calculate the rhythm furnish interesting results and a method, that can be improved in future works. In general, for the evaluation and effectiveness of the entire application, it is necessary to wait for the long-term test results. This project is eventually open to future work to improve its overall evaluation.

Il lavoro presentato in questa tesi è un completo rifacimento del progetto KaSPAR, il cui scopo è offrire agli studenti italiani, in particolare quelli affetti da dislessia, un software per aiutarli nell’apprendimento e nello studio dell’inglese. Il progetto è stato completamente ridisegnato, estendendo e migliorando le sue funzionalità. L’idea consiste nell’indurre lo studente ad emulare alcune frasi di un madrelingua inglese, migliorando, con esercizi mirati, alcune delle più importanti caratteristiche del linguaggio: l’intonazione, il focus, la pronuncia di frasi specifiche e il ritmo. L’applicazione, quindi, consente di visualizzare queste caratteristiche della voce, attraverso una grafica intuitiva e, soprattutto, di fornire un feedback efficace per supportare l’utente nel migliorare autonomamente le capacità espressive. Per fornire un’applicazione efficiente, abbiamo analizzato queste funzionalità e le problematiche correlate, implementando soluzioni appropriate per ciascun caso. Abbiamo particolarmente approfondito il caso del ritmo perché ci sono diverse teorie sul suo significato e, quindi, non esiste un modo unico per interpretarlo. Questo progetto è stato sviluppato con l’aiuto di alcuni strumenti esistenti, tra cui Praat per l’analisi del suono, librerie per l’allineamento forzato di testi e un kit di strumenti per il riconoscimento vocale automatico e l’allineamento fonetico. Attualmente, sebbene il progetto sia stato progettato per l’apprendimento esclusivo dell’inglese, sarebbe sufficiente sostituire i rispettivi modelli per adattarlo a un’altra lingua. I modelli utilizzati per la valutazione della pronuncia forniscono risultati promettenti in quanto in linea con le aspettative, anche se soffrono di errori dovuti al set di dati usati per il training. Inoltre, l’approccio che usiamo per calcolare il ritmo fornisce risultati interessanti e un metodo che può essere migliorato in lavori futuri. In generale, per la valutazione e l’efficacia dell’intera applicazione, è necessario attendere i risultati dei test a lungo termine. Questo progetto è quindi aperto a futuri lavori per migliorare la sua valutazione complessiva.