Longitudinal Monitoring of graphical abilities, towards the early diagnosis of Dysgraphia

Handwriting has a universal anthropological value since it is a gesture that contributes to the creation of the child's personality and consequently to the person's formation. In childhood, handwriting is beneficial for the cognitive development of children as it ignites in them areas of the brain dedicated to attention, manual dexterity, creativity, thought, language and memory. Dysgraphia is the neurodevelopmental disorder, with a biological character, specific to handwriting. Classical Dysgraphia diagnosis is based on the evaluation of speed and quality of the final handwritten text: it is therefore delayed as it is conducted only when handwriting is mastered, in addition to being highly language dependent and not always easily accessible. Our work aims to solve all the current critical issues in Dysgraphia diagnosis, by developing a solution that can move towards a new approach to anticipate the screening of Dysgraphia at an age when handwriting has not been learned yet, in order to allow for more targeted interventions and avoid negative consequences on the individuals' academic and daily life. Since the object of study of Dysgraphia are children, it is essential to investigate how growth and education influence their handwriting skills. With the aim, therefore, of quantitatively measuring handwriting characteristics whose alteration is typical of children with Dysgraphia and to monitor their evolution over time, we have used an iPad app (Play-Draw-Write) that exploits common technology to provide an objective assessment of handwriting production, starting from symbols drawing. With this in mind, starting from raw signals collected with various Serious Games on tablets, we developed, using mathematical and Deep Learning tools (e.g., Time2Vec layer, Procrustes Analysis, Ensemble Techniques), an early Dysgraphia Classifier based on real, quantitative and longitudinal data. In this way, our final Dysgraphia Classifier (a Quasi-SVM Model) is able to identify, well over 2 years before the current diagnosis, some "at-risk" children with a perfect Precision (100%) that therefore minimises False Positives (0%): we are therefore certain that if some children are classified as positive, they really are. Our Model has the great advantage of being absolutely general and reusable, as the "pre-writing" phase is common to the development of all children. It is then intended to be a support to the doctor, as it allows children identified as "at risk" to have priority access to in-person clinical assessment.

La scrittura a mano ha un valore antropologico universale poichè è una gestualità che contribuisce alla creazione della personalità del bambino e di conseguenza alla formazione della persona. Nell'età dell'infanzia infatti, la scrittura è benefica per lo sviluppo cognitivo dei bambini, poichè attiva in loro aree del cervello deputate all'attenzione, alla manualità, alla creatività, al pensiero, al linguaggio e alla memoria. Per questo le difficoltà nella scrittura si riflettono sulla qualità dell'apprendimento e sulla capacità di coordinare il pensiero, portando ad uno "spettro" di difficoltà più generali, che intevitabilmente conducono a conseguenze negative anche sulla vita quotidiana dei bambini. La Disgrafia è il disturbo del neurosviluppo, a carattere biologico, specifico della scrittura. La classica diagnosi della Disgrafia si basa sulla valutazione della velocità e della qualità del testo scritto a mano: è quindi ritardata in quanto condotta dopo il secondo anno della Scuola Primaria, quando il processo di apprendimento della scrittura dovrebbe essere consolidato. Inoltre, essendo basata solamente sul prodotto scritto finale, fornisce solamente una valutazione soggettiva del tratto finale e non una valutazione quantitativa della produzione gestuale, oltre a essere fortemente dipendente dalla lingua utilizzata e quindi dal paese di provenienza. Infine, richiede che il bambino raggiunga lo studio del medico, quindi non è sempre facilmente accessibile, in termini di costi e liste d'attesa, e questo ritarda ulteriormente la diagnosi. Il nostro lavoro si propone di risolvere tutte le attuali criticità della diagnosi della Disgrafia, sviluppando una soluzione in grado di orientarsi verso un nuovo approccio per anticipare lo screening della Disgrafia a un'età in cui la scrittura a mano non è ancora stata appresa, al fine di consentire interventi più mirati ed evitare conseguenze negative sulla vita accademica e quotidiana degli individui. Poiché l'oggetto di studio della Disgrafia sono i bambini, una popolazione le cui abilità sono in costante sviluppo, è essenziale indagare come la crescita e l'istruzione influenzino le loro abilità di scrittura e in particolare come questo processo di sviluppo differisca nei bambini potenzialmente a rischio. Questo, insieme al fatto che il disturbo della Disgrafia ha un intrinseco carattere "evolutivo", poiché si manifesta in modo diverso nelle varie fasi di sviluppo della scrittura, porta all'estrema necessità di un monitoraggio longitudinale delle abilità grafiche. Con l’obiettivo quindi di misurare quantitativamente caratteristiche di scrittura la cui alterazione è tipica dei bambini con Disgrafia e per monitorare la loro evoluzione nel tempo, abbiamo utilizzato un'applicazione per iPad (Play-Draw-Write) che permette di sfruttare la tecnologia comune per fornire una valutazione oggettiva della produzione della scrittura, partendo dal disegno di simboli. In quest'ottica, a partire da segnali grezzi raccolti tramite diversi giochi su tablet, abbiamo sviluppato, utilizzando strumenti matematici e di Deep Learning, un Classificatore precoce della Disgrafia basato quindi su dati reali, quantitativi e longitudinali. In particolare abbiamo utilizzato Time2Vec, una tecnica di Embedding per serie temporali, per ottenere una rappresentazione sinusoidale sintetica dei segnali associati alle esecuzioni dei bambini. Successivamente abbiamo sfruttato l'Analisi di Procuste, un'analisi statistica delle forme, per stabilire delle distanze tra i segnali e i relativi segnali medi. Nello specifico, abbiamo quindi applicato questa analisi non sull'immagine finale del tratto scritto, bensì sulla rappresentazione estratta dal Time2Vec, in modo da utilizzare a pieno la dinamicità dei nostri dati. Con queste distanze, abbiamo costruito dei semplici Classificatori che considerano un bambino come a rischio se il relativo segnale dista più di una certa soglia dal segnale medio. Infine, abbiamo fatto largo utilizzo della tecnica di Ensemble con una struttura gerarchica, in modo da combinare le predizioni di numerosi Classificatori "deboli" per migliorare la performance complessiva. In questo modo il nostro Classificatore finale della Disgrafia (un Modello Quasi-SVM) è in grado di identificare ben oltre 2 anni prima dell'attuale diagnosi alcuni bambini "a rischio", con una Precisione perfetta (100%) che quindi minimizza completamente i Falsi Positivi (0%): siamo quindi certi che se alcuni bambini sono Classificati come positivi, lo sono davvero. Il nostro Modello ha il grande vantaggio di essere assolutamente generale e riutilizzabile, dato che la fase di "pre-scrittura" è comune allo sviluppo di tutti i bambini. Si propone quindi come un supporto al medico poichè permette ai bambini identificati come "a rischio" di avere accesso prioritario alla valutazione clinica di persona.