Machine learning-based decision support system for Rey-Osterrieth Complex Figure test

This thesis presents a support system that performs automated scoring to a given Rey–Osterrieth Complex Figure (ROCF) test. Neurodegenerative diseases such as dementia and Alzheimer's disease are a fundamental challenge for medical science. Over the years, the ROCF test has become a very popular instrument of the diagnosis process. In this test, patients are asked to reproduce a line drawing whose complex structure is meant to assess many cognitive abilities. To evaluate the performance, a clinician subdivides the drawing into a fixed set of patterns, and assigns a score to each of them according to certain criteria based on morphology and topological relationships. After collecting all the scores, a diagnosis is finally elaborated. In recent years, Machine Learning algorithms have been an extremely powerful tool to perform image analysis and pattern detection, achieving human-like result in the extraction of visual concepts from an image. Therefore, using the digitalization of ROCF drawings paired with the scores assigned by an expert, we develop a set of Machine Learning solutions aimed to learn and replicate the techniques used by a clinician to assign a score. For each pattern, the scoring process is divided in three steps: image analysis, computer vision and classification. The first two steps involve the inspection of a part of the patient's drawing that is supposed to contain the pattern. We use either Deep Learning or standard Computer Vision techniques according to the complexity of the analyzed area to extract morphological and topological information. The collected results are then used in the third step, where a score is formulated according to the presence or absence of a pattern, its correct placement in the drawing and the similarity with the original one. We also formulate a final diagnosis by classifying all the scores that we have collected. The system is meant as a starting point for the automation of the ROCF test and it is developed as a support tool for the clinician, providing a textual explanation of the criteria that have been adopted to assign each score. In this way, a clinician can understand the reasoning behind a certain result and provide a feedback for further improvements. Moreover, the algorithmic nature of the system allows to give a fixed and repeatable analysis of a patient's performance, which permits a clinician to compare its evaluation with the results obtained with a pre-defined method and to use this system to reduce the subjective component of a human diagnosis. The system has shown to be effective in detecting the patterns of a patient's drawing and to assign four scores with an average accuracy of 66%, and with an accuracy of diagnosis of 82%.

Questa tesi presenta un sistema di supporto che esegue il punteggio automatico per un dato test Rey – Osterrieth Complex Figure (ROCF). Le malattie neurodegenerative come la demenza e il morbo di Alzheimer sono una sfida fondamentale per la scienza medica. Nel corso degli anni, il test ROCF è diventato uno strumento molto popolare nel processo di diagnosi. In questo test, ai pazienti viene chiesto di riprodurre un disegno al tratto la cui struttura complessa è destinata a valutare molte capacità cognitive. Per valutare le prestazioni, un medico suddivide il disegno in una serie fissa di pattern e assegna un punteggio a ciascuno di essi in base a determinati criteri basati sulla morfologia e sulle relazioni topologiche. Dopo aver raccolto tutti i punteggi, viene finalmente elaborata una diagnosi. Negli ultimi anni, gli algoritmi di Machine Learning sono stati uno strumento estremamente potente per eseguire analisi di immagini e rilevamento di pattern, ottenendo risultati simili a quelli umani nell'estrazione di concetti visivi da un'immagine. Pertanto, utilizzando la digitalizzazione dei disegni ROCF abbinata ai punteggi assegnati da un esperto, sviluppiamo un set di soluzioni di Machine Learning finalizzate ad apprendere e replicare le tecniche utilizzate da un clinico per assegnare un punteggio. Per ogni modello, il processo di assegnazione del punteggio è suddiviso in tre fasi: analisi dell'immagine, visione artificiale e classificazione. I primi due passaggi prevedono l'ispezione di una parte del disegno del paziente che dovrebbe contenere il modello. Utilizziamo tecniche di Deep Learning o Computer Vision standard in base alla complessità dell'area analizzata per estrarre informazioni morfologiche e topologiche. I risultati raccolti vengono poi utilizzati nella terza fase, dove viene formulata una partitura in base alla presenza o meno di un pattern, al suo corretto posizionamento nel disegno e alla somiglianza con quello originale. Formuliamo anche una diagnosi finale classificando tutti i punteggi che abbiamo raccolto. Il sistema vuole essere un punto di partenza per l'automazione del test ROCF e si sviluppa come strumento di supporto per il clinico, fornendo una spiegazione testuale dei criteri che sono stati adottati per l'assegnazione di ogni punteggio. In questo modo, un clinico può comprendere il ragionamento alla base di un determinato risultato e fornire un feedback per ulteriori miglioramenti. Inoltre, la natura algoritmica del sistema consente di fornire un'analisi fissa e ripetibile delle prestazioni di un paziente, che consente al clinico di confrontare la propria valutazione con i risultati ottenuti con un metodo predefinito e di utilizzare questo sistema per ridurre la componente soggettiva di una diagnosi umana. Il sistema si è dimostrato efficace nel rilevare gli schemi del disegno di un paziente e nell'assegnare quattro punteggi con un'accuratezza media del 66% e con un'accuratezza della diagnosi dell'82%.