Machine learning-based analysis of spontaneous speech to detect and monitor decline of cognitive functionality in elderly people

In the context of the worldwide phenomenon of aging, the decline of cognitive functions has been one of the main focuses of healthcare policies due to the high costs for diagnosis and maintenance of patients. Since speech and language capacity is a well-established early indicator of cognitive deficits including dementia, speech processing methods offer great potential to automatically screen for prototypical indicators in real-time. Therefore, this work aims at analyzing cognitive and functional decline from spontaneous speech-extracted acoustic features via machine learning techniques. First, machine learning performances have been evaluated with acoustic features computed at different time scales (5-10-15s) on 3 datasets of different idioms, Italian, Spanish, and English, respectively. The objective was to find the optimal duration on which to compute the features to speed up the computational time. The binary classification between subjects with no cognitive impairment and those with a mild one was performed yielding 71%, 69%, and 67% in accuracy on the test set, respectively for each dataset. Regarding the multiclass classification task, performances were good on the 3 classes, providing a good discrimination power (66%, 55%, and 49% on the test set). Finally, prediction of Mini-Mental State Examination was performed for the first time on Italian and Spanish subjects, whereas the results obtained with the English dataset were compared to those outlined in the ADReSS challenge since the starting dataset was the same. For the first 2 datasets, MMSE prediction showed promising results, while for the last one, prediction was slightly improved with respect to the challenge. This work shows that good outcomes can be obtained even with features computed at shorter time lengths and regardless of the language involved, suggesting that longitudinal language-independent monitoring of cognitive decline can be obtained. In this regard, it would be useful to develop a mobile application to run in background during phone calls for automatic feature extraction.

Il declino delle funzioni cognitive è uno dei principali focus delle politiche sanitarie per via degli elevati costi per la diagnosi e la cura dei pazienti. Poiché il parlato e la capacità di linguaggio sono degli indicatori precoci di deficit cognitivi, come la demenza, i metodi di elaborazione dei segnali sul linguaggio sono un'importante risorsa per lo screening automatico in tempo reale. Pertanto, questo lavoro mira ad analizzare il declino cognitivo e funzionale a partire da parametri acustici estratti dal linguaggio spontaneo tramite tecniche di machine learning. In primo luogo, le prestazioni dei modelli di machine learning sono state valutate su parametri acustici calcolati a diverse scale temporali (5-10-15s) su 3 set di dati di lingue diverse, rispettivamente italiano, spagnolo e inglese. Un primo obiettivo è stato trovare la durata ottimale su cui calcolare le caratteristiche per velocizzare i tempi di calcolo dei parametri. La classificazione binaria tra soggetti senza decadimento cognitivo e soggetti con decadimento lieve è stata eseguita ottenendo un'accuratezza sulla validazione rispettivamente di 71%, 69%, e 67% sul test set per ciascun set di dati. Per quanto riguarda il compito di classificazione multiclasse, le prestazioni sono state buone sulle 3 classi, fornendo un buona capacità di discriminazione (66%, 55%, and 49% sul test set). Infine, la previsione del Mini-Mental State Examination è stata eseguita per la prima volta su soggetti italiani e spagnoli, mentre i risultati ottenuti con il dataset inglese sono stati confrontati con quelli riportati nel challenge ADReSS, poiché il dataset di partenza era lo stesso. Per i primi 2 set di dati, la previsione dell'MMSE ha mostrato risultati promettenti, mentre nell'ultimo caso, la previsione è stata leggermente migliorata rispetto alla sfida. Questo lavoro mostra che è possibile ottenere buoni risultati anche con parametri calcolati su durate temporali più brevi e indipendentemente dalla lingua coinvolta, suggerendo che è possibile ottenere un monitoraggio longitudinale indipendente dalla lingua del declino cognitivo.