Automating the evaluation of Rey-Osterrieth Complex Figure test using a decision support system for portable devices

This thesis proposes a digital decision support system that analyses and scores a Rey- Osterrieth Complex Figure (ROCF) test provided through a photograph. Dementia is one of the leading pathologies among the senior population, for which neuropsychological assessments such as the ROCF test have been used to detect its early signs. The test consists of the patients reproducing a complex geometrical figure, by drawing a total of 18 patterns, with various structures and topological relations, which is scored by a clinician and used for formulating a diagnosis. An objective scoring of ROCF tests can help mitigate the discrepancies in scoring performed by different clinicians. A ROCF analysis system has been created for automating the scoring of the test and predicting a diagnosis, but it is not yet accessible to use by doctors without the help of an engineer. We are proposing a digital decision support system, accessible to clinicians, that can help them score and predict a diagnosis based on photographs of ROCF tests, correct the scores when the system is wrong, and keep track of the patients’ past evaluations. We have built a mobile application accessible on portable devices to allow clinicians to use the system without engineers’ help. They can take a photograph of the drawing, set some basic configuration details, and send it for analysis. For each pattern, the system returns quantitative scores(from 0 to 2), qualitative labels (from 0 to 3), and the coordinates of the regions where the patterns are found, as well as a diagnosis prediction. The initial system has been trained on scanned images, but the decision support system uses photographs. Therefore, we update the system by changing preprocessing steps, acquiring and updating the datasets with new samples, and improving the classification strategies for complex patterns. We have obtained an increase or similar accuracy for qualitative labeling in 13 out of 18 patterns. The average accuracy per test of quantitative scoring is 61.1%, with respect to 53.6% before improvements. The system has been tested by a group of six clinicians, most of which have found the functionalities useful and have offered suggestions for improvements. More work needs to be done to further improve the accuracy and speed of prediction.

Questa tesi propone un sistema di supporto decisionale digitale che analizza e valuta un test Rey- Osterrieth Complex Figure (ROCF) fornito attraverso una fotografia. La demenza è una delle principali patologie della popolazione anziana, per la quale sono state utilizzate valutazioni neuropsicologiche come il test ROCF per individuarne i segni precoci. Il test consiste nella riproduzione da parte dei pazienti di una figura geometrica complessa, disegnando un totale di 18 pattern, con varie strutture e relazioni topologiche, che viene valutata da un clinico e utilizzata per formulare una diagnosi. Un punteggio oggettivo dei test ROCF può aiutare a mitigare le discrepanze nel punteggio eseguito da diversi clinici. Un sistema di analisi ROCF è stato creato per automatizzare il punteggio del test e prevedere una diagnosi, ma non è ancora accessibile all'uso da parte dei medici senza l'aiuto di un tecnico specializzato. Proponiamo un sistema di supporto decisionale digitale, accessibile ai medici, che può aiutarli a segnare e prevedere una diagnosi basata su fotografie di test ROCF, correggere i punteggi quando il sistema è sbagliato, e tenere traccia delle valutazioni passate dei pazienti. Abbiamo costruito un'applicazione mobile accessibile su dispositivi portatili per permettere ai clinici di utilizzare il sistema senza l'aiuto degli ingegneri. Possono scattare una fotografia del disegno, impostare alcuni dettagli di configurazione di base e inviarla per l'analisi. Per ogni pattern, il sistema restituisce punteggi quantitativi (da 0 a 2), etichette qualitative (da 0 a 3), e le coordinate delle regioni in cui si trovano i modelli, così come una previsione di diagnosi. Il sistema iniziale è stato addestrato su immagini scannerizzate, ma il sistema di supporto decisionale utilizza fotografie. Pertanto, abbiamo aggiornato il sistema cambiando le fasi di pre-elaborazione, acquisendo e aggiornando i set di dati con nuovi campioni, e migliorando le strategie di classificazione per i modelli complessi. Abbiamo ottenuto un aumento o una precisione simile per l'etichettatura qualitativa in 13 modelli su 18. L'accuratezza media per test del punteggio quantitativo è del 61,1%, rispetto al 53,6% prima dei miglioramenti. Il sistema è stato testato da un gruppo di sei clinici, la maggior parte dei quali ha trovato le funzionalità utili e ha offerto suggerimenti per miglioramenti. Futuri miglioramenti potranno aumentare l'accuratezza e la velocità di previsione.