A tablet app to automate the screening of handwriting problems from preliteracy : a longitudinal study

Developmental Dysgraphia is a Specific Learning Disorder that denotes deficits in the acquisition of writing skills, despite adequate opportunity to learn, and absence of obvious neuropathologies. It affects an estimated 7–15% of school-age children [Dohla, 2016]. It causes inconsistent and illegible handwriting, often accompanied by fine motor difficulties, such as in holding the pencil correctly [Mekyska, 2016]. Currently, the diagnosis is belated to the second year of primary school, when students are supposed to have learned to write properly, causing a delay in the application of compensatory measures. To achieve an earlier diagnosis, even from a pre-literacy age, the tablet app Play-Draw-Write was developed [Dui2020]. It leverages drawings to study handwriting principles that are proved to be violated in dysgraphic handwriting, that are, Isochrony, Homothety and Speed-Accuracy trade-off. Their lack or alteration indicate a possible insurgence of Dysgraphia. The rule of Isochrony states a direct proportionality between writing size and speed, mutually changing to keep movement duration approximately constant. Then, Homothety predicts that the relative duration of individual letters that compose a word are kept constant, despite changes in size. Lastly, the Speed-Accuracy trade-off rule states that the more accurate the task, the longer it takes to accomplish it. The model used to assess it is the steering law [Accot, 1997], a continuous formulation of the Fitts’ law, a linear relationship between movement time and index of difficulty (MT = a + b ID, where ID is the amplitude of movement divided by the width of the path). The present study has two main goals: (1) to bring improvements to the analysis of data collected with the app, to automate the scoring; (2) to conduct a longitudinal study on the data of kindergarten and primary school students, considering both features related to the three handwriting laws, and the drawing strategy in a broader sense. In this study, two of the serious games were considered. First, the Copy Sequence exercise, that presents an empty canvas and an example of a sequence of symbols (a circle, a line, and a reversed U) to copy in three size modalities: Spontaneous, Big, or Small. This allows the study of Isochrony, as speed modulation is expected when asked to draw bigger or smaller. In addition, it allows Homothety evaluation, as the fraction of time dedicated to each symbol, with respect to the total sequence, can be studied between modalities. Then, the Tunnel ELE game, designed to study Speed-Accuracy trade-off in a portion of word (“ele”). The game presents 14 tunnels of varying amplitude and width, to create five different indexes of difficulty (ID), as per the steering law. The games are executed on an iPad tablet with the Apple Pencil, in the same order and modalities for each child. The app records the input data from the digitized stylus, containing the traces drawn during the games, as well as pressure and other parameters. To allow the extraction of meaningful features from the Copy Sequence game, it was necessary to segment the trace acquired during the execution. Therefore, a recognition algorithm was developed, to automatically recognize the shapes drawn, accounting for the wide range of variations that each child introduces in drawing them. In this way, it was possible to detect if any error occurred, and to be able to extract features from each individual symbol. Testing the algorithms on exercises performed by kindergarteners, the F1 score on symbol recognition amounted to F1 = 0.5 for Spontaneous, F1 = 0.67 for Big, and F1 = 0.4 for Small modalities of Copy Sequence. To extract parameters from the Tunnel ELE game without border effect, the automatic segmentation needed to be improved, accounting for critical cases in which the letter loops don’t present a crossing point. In both exercises, a selection process for the best execution (among the repetitions of a single exercise) was established, through a rating system. This lets the app to automatically recognize the best execution, to extract the desired features from. The first set of data acquisitions was collected between January and February 2020 from a population of 247 children attending the last year of kindergarten. A second acquisition phase, in which the present study was involved, was conducted between December 2020 and February 2021 and it featured 209 of the same children, one year later, attending their first year of primary school, in a longitudinal perspective. In both years, teachers filled out a questionnaire for each of their students about their current skills, highlighting critical behaviours or lacking abilities. A longitudinal study was conducted on the two data sets, considering the risk assessment from first and second year of acquisitions as a between-groups factor. The goal was to observe the effects of children's growth and education --- on both normally developing children and children deemed at risk --- on the adherence to handwriting laws, and to identify the handwriting production features that best express these changes. Given the gap in time in the second year of acquisitions, happened with a two-month pause, the students tested in December 2020 were also tested against those tested in February 2021 Chi-squared tests confirmed that, growing up, children make less mistakes in copying the sequence of symbols proposed in the Copy Sequence game. As for December-February differences, it can be assumed that the progress made in the few months in the error rate was enough to make them distinct populations. Concerning handwriting laws, a Friedman tests conducted on median speed of the Copy Sequence exercises in different modalities showed that Isochrony violations allow to identify the children at risk group, both from Kindergarten and from primary school acquisitions. A Friedman test was performed on the fraction of time dedicated to each symbol in the sequence. It showed that adherence to Homothety improves over time. This can lead to think of Homotety as an acquired behaviour, developing with time and education. For the Tunnel ELE game, the results support the initial hypothesis of the Speed-Accuracy Trade-off as a significant rule to identify graphic difficulty, as the between-groups Mann-Whitney test was significant. Improvements over time emerged, as well, as the within-groups Wilcoxon test was also significant. Further tests highlighted the discriminatory power of other features related to gesture production, that were deemed by literature [Asselborn, 2018, Mekyska, 2016] as highly discriminative of risk when considering writing tasks. It is an important achievement, as confirming their discriminative power in drawing exercises allows to extend the evaluation to pre-literacy. While providing encouraging results, the algorithms for the serious games proposed in this study have room for improvement in error recognition. The statistical analysis offers a first interpretation of the Play-Draw-Write data on longitudinal changes of graphical skills, which will reveal more with new testings in the future.

La Disgrafia è un disturbo specifico dell'apprendimento che denota deficit nell'acquisizione delle capacità di scrittura, nonostante adeguate opportunità di apprendimento e assenza di evidenti neuropatologie. Colpisce circa il 7-15% dei bambini in età scolare [Dohla, 2016]. Provoca una grafia incoerente e illeggibile, spesso accompagnata da difficoltà nei gesti motori fini, come impugnare la matita correttamente [Mekyska, 2016]. Attualmente la diagnosi è ritardata al secondo anno di scuola primaria, quando gli studenti dovrebbero aver già imparato a scrivere correttamente, provocando ritardi nell'applicazione delle misure compensative. Per ottenere una diagnosi precoce, anche in età pre-scolare, è stata realizzata l'app per tablet Play-Draw-Write [Dui, 2020]. L'app sfrutta i disegni per studiare i principi della scrittura che hanno dimostrato di essere violati nella grafia disgrafica, ovvero il l'Isocronia, l'Omotetia e il trade-off Velocità-Accuratezza. La loro mancanza o alterazione indica una possibile presenza di Disgrafia. La legge dell'Isocronia stabilisce una proporzionalità diretta tra la dimensione e la velocità di scrittura, che cambiano reciprocamente per mantenere la durata del movimento approssimativamente costante. L'Omotetia prevede che la durata relativa della scrittura di singole lettere che compongono una parola venga mantenuta costante, nonostante i cambiamenti di dimensione della parola. Infine, il trade-off Velocità-Accuratezza afferma che più è accurata l'attività, più tempo è necessario per portarla a termine. Il modello utilizzato per valutarla è la steering law [Accot, 1997], una formulazione continua della Fitt's law, una relazione lineare tra tempo di movimento e indice di difficoltà (MT = a + b ID, dove ID è l'ampiezza del movimento diviso per la larghezza del percorso). Il presente studio ha due obiettivi principali: (1) apportare miglioramenti all'analisi dei dati raccolti con l'app, automatizzando l'attribuzione di un punteggio; (2) condurre uno studio longitudinale sui dati di alunni dalla scuola dell'infanzia alla scuola primaria, considerando sia le caratteristiche legate alle tre leggi della scrittura, sia la strategia del disegno nel complesso. In questo studio sono stati considerati due dei serious games disponibili. Per prima cosa, l'esercizio Copia Sequenza, che presenta un foglio bianco e un esempio di una sequenza di simboli (un cerchio, una linea e una U rovesciata) da copiare in tre modalità con dimensioni diverse: spontanea, grande e piccola. Ciò consente lo studio dell'Isocronia, poiché si prevede la modulazione della velocità quando viene chiesto di disegnare più grande o più piccolo. Inoltre consente la valutazione dell'Omotetia, in quanto la frazione di tempo dedicata a ciascun simbolo, rispetto alla sequenza totale, può essere studiata tra le modalità. Infine, il gioco Tunnel ELE, progettato per studiare il trade-off Velocità-Accuratezza in una porzione di parola ("ele"). Il gioco presenta 14 tunnel di varia ampiezza e larghezza, per creare cinque diversi indici di difficoltà (ID), seguendo la steering law. I giochi vengono eseguiti su un tablet iPad con la Apple Pencil, nello stesso ordine e modalità per ogni bambino. L'app registra i dati di input dalla penna digitale, contenente le tracce disegnate durante i giochi, così come la pressione e altri parametri. Per consentire l'estrazione di caratteristiche significative dal gioco Copia Sequenza, era necessario segmentare la traccia acquisita durante l'esecuzione. Pertanto, è stato sviluppato un algoritmo di riconoscimento, per riconoscere automaticamente le forme disegnate, tenendo conto dell'ampia gamma di variazioni che ogni bambino introduce nel disegnarle. In questo modo, è stato possibile rilevare se si è verificato un errore, ed estrarre le caratteristiche da ogni singolo simbolo. Testando gli algoritmi sugli esercizi eseguiti dai bambini della scuola materna, il punteggio F1 sul riconoscimento dei simboli ammontava a F1 = 0.5 per la modalità Spontaneo, F1 = 0.67 per la modalità Grande e F1 = 0.4 per la modalità Piccola di Copia Sequenza. Per estrarre i parametri dal gioco Tunnel ELE senza effetti di bordo, la segmentazione automatica doveva essere migliorata, tenendo conto dei casi critici in cui i cicli di lettere non presentano un punto di incrocio. In entrambi gli esercizi è stato stabilito un processo di selezione per la migliore esecuzione (tra le ripetizioni di un singolo esercizio), attraverso un sistema di rating. Ciò consente all'app di riconoscere automaticamente la migliore esecuzione, da cui estrarre le features desiderate. La prima serie di acquisizioni di dati è stata raccolta tra gennaio e febbraio 2020 da una popolazione di 247 bambini frequentanti l'ultimo anno di asilo. Una seconda fase di acquisizione, in cui è stato coinvolto il presente studio, è stata condotta tra dicembre 2020 e febbraio 2021, coinvolgendo 209 degli stessi bambini, un anno dopo, frequentanti il primo anno di scuola primaria, in prospettiva longitudinale. In entrambi gli anni, gli insegnanti hanno compilato un questionario per ciascuno dei loro studenti sulle loro abilità attuali, evidenziando comportamenti critici o abilità carenti. È stato condotto uno studio longitudinale sui due set di dati, considerando la valutazione del rischio dal primo e dal secondo anno di acquisizioni come un discriminante tra i gruppi. L'obiettivo era quello di osservare gli effetti della crescita e dell'educazione dei bambini - sia sui bambini in via di sviluppo normale che sui bambini ritenuti a rischio - sull'aderenza alle leggi sulla scrittura e identificare le caratteristiche di produzione della scrittura che meglio esprimono questi cambiamenti. Dato il divario temporale nel secondo anno di acquisizioni, avvenuto con una pausa di due mesi, gli studenti acquisiti a dicembre 2020 sono stati testati anche contro quelli acquisiti a febbraio 2021. È stato eseguito un test di Friedman sulla frazione di tempo dedicata a ciascun simbolo nella sequenza. Il test ha mostrato che l'adesione all'Omotetia migliora nel tempo. Questo può portare a pensare l'Omotetia come un comportamento acquisito, che si sviluppa con il tempo e l'educazione. Per il gioco Tunnel ELE, i risultati supportano l'ipotesi iniziale del trade-off Velocità-Accuratezza come regola significativa per identificare le difficoltà grafiche, poiché il test di Mann-Whitney tra i gruppi era significativo. Sono emersi anche miglioramenti nel tempo, poiché anche il test di Wilcoxon tra i gruppi è risultato significativo. Ulteriori test hanno evidenziato il potere discriminatorio di altre caratteristiche legate alla produzione di gesti, che sono state ritenute dalla letteratura [Asselborn, 2018, Mekyska, 2016] come altamente discriminatorie del rischio quando si considerano i compiti di scrittura. È un risultato importante, in quanto la conferma del loro potere discriminante negli esercizi di disegno consente di estendere la valutazione alla pre-alfabetizzazione. Pur fornendo risultati incoraggianti, gli algoritmi per i serious games proposti in questo studio hanno margini di miglioramento nel riconoscimento degli errori. L'analisi statistica offre una prima interpretazione dei dati Play-Draw-Write sui cambiamenti longitudinali delle abilità grafiche, che riveleranno di più con nuovi test in futuro.