Exergames to evaluate speed-accuracy trade off and handwriting characteristics : towards prevention and early identification of dysgraphia

Dysgraphia is a Specific Learning Disorder which affects the 11 % of students [Venturelli, 2013]. It is characterised by writing skills below the expectancies, given the age, intelligence, and education of the person [American Psychiatric Association, 1994]. It is usually diagnosed after the second year of primary school, when pupils are supposed to have learned to write in a proper way. Then, corrective or compensative measures come with a big delay. This is the reason way the development of a tool aimed at an early diagnosis would be welcome. The aim of the present work is to design exergames which can be useful to learn more about handwriting characteristics, in order to understand which are the main hints of the presence of this disease in an early age and start to treat it before some related wrong habits become consolidated. A relevant phenomenon to investigate is the speed-accuracy trade off. The term means the ability to compensate correctness in tasks execution with an acceptable amount of time. It is important to investigate it in dysgraphia because it is known that these people suffer from an altered kinematics, with longer time spent pausing on paper and subsequent less and incorrect letters production than their peers [Paz-Villagran et al, 2014, Prunty et al, 2013]. Speed-accuracy trade off is also used to characterise the movement in some other pathologies, like dystonia [Lunardini et al, 2015a], but it was never tested on handwriting. The relevant mathematical representation of a speed-accuracy trade off task in graphical application is known as steering law [Accot and Zhai, 1997]. They derived it from Fitts’ law, producing a linear relationship between movement time and index of difficulty (MT = a + b ID, where ID is the amplitude of movement divided by the width of the path). Another topic, related to the characterisation of writing, is that of isochrony and omothetia [Pagliarini et al, 2015]. It is proved that there is a violation of these two principles in dysgraphia, but it is uncertain if it is possible to adapt them to pre-graphic symbols, because it could be that they develop together with handwriting learning. If so, it would be useful for testing subject unable to write. Another interesting point is to explore how handwriting abilities and music interact. Some studies reported that music class improved prewriting skills [Standley and Hughes, 1997]. Others underlined the correlation between rhythmic activities, such as tapping, with lexical skills [Wolff, 2002; Mathers, 2003]. Finally, an exergame to reproduce a recognised assessment test was implemented. The Denver test on fine motor activities was chosen [Frankenburg, 1967], as it was used for years as an evaluation instrument, also to test learning disabilities [Galli et al, 2011]. Before testing on children, an Adults application was developed, to have a standard comparison of a healthy population about isochrony, omothetia and steering law in handwriting and in drawing, achieved through exergames on tablet. A total of 20 university students were engaged in the study. They had to copy words and symbols in different ways (following Pagliarini’s guidelines) and to steer tunnel shaped as symbols and words, like those in Figure 1. Different tunnel lengths and width contributed to create different IDs and movement times. Figure 1: The Figure shows an example from the adults' Tunnel game, aimed at testing steering law The application created for children, instead, was composed of four games: a Copy game (inspired to some Denver items), a Tunnel game (to test steering law), an Isochrony game and a Rhythm game. The exercises tried to cover different possible modalities, but the intent of this application was more explorative. The aim was to understand the reaction of pupils to such a different activity, in comparison to those they are used to, so particular attention was given to the usability aspect, like in Figure 2, with funny avatars, sounds and feedback, to involve them at a higher level. A usability questionnaire was part of the evaluation too. Seventeen children from a primary school, age 5-6, were involved in the trial. They were shared into groups on teachers’ judgement basis, to have an independent parameter for correlation with games scores. The final evaluation of the application was positive for all the children, suggesting that it is a good way to keep their attention while testing their abilities. Figure 2: Children application, Copy game (Panel a), Isochrony game (Panel b), Tunnel game (Panel c), Rhythm game (Panel d) The analysis on steering law started from the fitting of ID and MT data. In adults resulted in a general confirmation of the law for symbols, but poorer fitting came from the words. In Figure 3, comparison was made between adults and children steering tasks, in term of adjusted-R2, movement time and index of performance (the inverse of the slope). Figure 3: The Figure shows a comparison between adults and children in the Tunnel game (circle only). Panel a: red, blue and green represent “poor”, “intermediate” and “good” children, respectively; black is used for adults. It is a comparison among adjusted-R2 of steering law fitting. Panel b: magenta includes all the children trials with an adjusted-R2>0.7, black is for adults again. At different index of performance (x-axis) corresponds a different movement time (y-axis). Panel c: index of performance comparison between adults and children. Isochrony was tested on adults first, considering the adaptation of mean speed value to the task requirements. There was a confirmation of the principle validity in symbols too, with an example in Figure 4, Panel a. There is an increment in speed when drawing bigger symbols. In children, instead, the calculation was made on time basis. It seems that it is not yet developed, as time at different lengths is significantly different. Omothetia was computed in adults only, as the relative letter duration in comparison to the total word time. This principle holds too, both in free writing and in steering tasks (Figure 4, Panel b, contains the free writing results). Figure 4: The Figure shows an example of isochrony in circles drawing tested on adults in Panel a. Panel b is related to omothetia principle in adults’ Copy game. Then, attempts to correlate scores of Rhythm game and Denver test with teachers’ judgement gave a moderate correlation for the first game (0.4), a more significant effect for the second one (-0.6). Finally, an evaluation on pressure has been made. It required a hardware calibration first, as both pen and tablet responses were not linear. After that, some general observations about pressure adaptation transitory, peaks of pressure and repeatability were carried out (Figure 5), as mean pressure alone cannot discriminate among different development level of graphical abilities. Figure 5: Two example from children's Isochrony game, with a "good" subject on the left and a "poor" subject on the right. For each of them, the track, pressure and speed are plotted. Children reaction was positive but the test provided the suggestion to repeat the Tunnel and the Isochrony game with less symbols and more trials in children, to have a bigger dataset and better statistics. The results on adults were encouraging, though: speed-accuracy testing should be widened to dysgraphic patients, to effectively assert that these games could open a scenario on new ways of diagnosis.

La Disgrafia è un disturbo specifico dell’apprendimento che colpisce circa l’11 % dei ragazzi in età scolare [Venturelli, 2013]. Viene descritta come l’incapacità di una produzione grafica adeguata a età, intelligenza e preparazione [Associazione degli Psichiatri Americani, 1994]. Solitamente è possibile diagnosticarla dopo il secondo anno di scuole elementari, quando i bambini dovrebbero aver sviluppato un buon livello di scrittura e, per questo motivo, misure correttive e compensative tendono ad essere ritardate. È quindi importante la ricerca di nuovi strumenti per la diagnosi precoce. Lo scopo di questo lavoro è di sviluppare degli exergame atti ad investigare le caratteristiche della scrittura che suggeriscano quando un soggetto è a rischio di sviluppare problemi di scrittura prima che questi divengano consolidati. Una caratteristica distintiva dei disgrafici è un rapporto alterato tra velocità e accuratezza nella scrittura: tendono infatti a sostare per lungo tempo sul foglio prima di scrivere una lettera, per poi produrla velocemente e in modo disordinato, risultando, però, in una generale lentezza rispetto ai compagni [Paz-Villagran et al, 2014, Prunty et al, 2013]. La relazione tra velocità e accuratezza è stata studiata in altre patologie che alterano i movimenti, come la distonia [Lunardini et al, 2015a], ma mai sulla scrittura. La rappresentazione matematica di riferimento per queste valutazioni è la legge dello steering [Accot e Zhai, 1997]. Essa deriva dalla legge di Fitts e prevede una relazione lineare tra tempo di movimento (MT) e indice di difficoltà (ID), quest’ultimo definito come il rapporto tra l’ampiezza del movimento e la larghezza del percorso in cui esso avviene. Altre due leggi strettamente connesse con le caratteristiche temporali della scrittura sono l’isocronia e l’omotetia: l’una implica che il tempo si mantenga costante tra scritture a diverse dimensioni, l’altra che, indipendentemente dalla modalità di scrittura, la frazione temporale dedicata a ciascuna lettera si mantenga costante. Pagliarini et al [2015] hanno provato come queste due leggi siano violate dai pazienti disgrafici. Tuttavia, è utile capire se questo valga solo nella scrittura o anche nel disegno di semplici figure geometriche e se venga sviluppato indipendentemente dall’acquisizione della grafia, aprendo nuovi scenari per la diagnosi precoce. Un altro punto interessante è capire in che modo il tratto grafico interagisca con la musica. Alcuni studi riportano che le lezioni di musica migliorano le abilità pregrafiche [Standley and Hughes, 1997], altri sottolineano la correlazione tra la disgrafia e l’inabilità a svolgere compiti ritmici come il picchiettare a tempo su una superficie [Wolff, 2002; Mathers, 2003]. Infine, per confrontare le abilità grafiche con un test riconosciuto, è stato scelto il test di Denver [Frankenburg, 1967], che viene utilizzato anche per le attività motorie fini ed è stato già studiato in relazione ai disturbi dell’apprendimento [Galli et al, 2011]. Prima di poter fare delle considerazioni sui bambini, è stata sviluppata e testata un’applicazione per gli adulti, in modo da avere un riferimento tra isocronia, omotetia e legge dello steering. 20 studenti universitari hanno partecipato volontariamente allo studio. Hanno dovuto copiare dei simboli e delle parole in cinque modi diversi (spontaneo, grande, piccolo, veloce, lento) e percorrere dei tunnel, sempre a forma di simboli e di parole, come si può vedere in Figura 6, dove si possono notare i diversi indici di difficoltà, dovuti a dimensioni diverse. Figure 6: Esempi di gioco del tunnel, volto a testare la legge dello steering Invece, l’applicazione per bambini è composta da quattro giochi: un gioco in cui bisogna copiare delle figure ispirate al test di Denver, un gioco con un tunnel per la legge dello steering, un gioco con figure di diverse dimensioni per l’isocronia e un gioco con delle canzoni per verificare l’influenza della musica sull’esecuzione. Nonostante i giochi siano volti ad esplorare quanti più aspetti possibile, lo scopo principale era valutarne l’usabilità. L’applicazione è stata sviluppata in modo da essere semplice, intuitiva, colorata e divertente, come si può capire da Figura 6, con avatar colorati, suoni e feedback divertenti. Per questo motivo, è stato anche proposto un questionario di usabilità e di gradimento L’esperimento ha coinvolto diciassette bambini di una scuola elementare, di età compresa tra i 5 e i 6 anni. Sono stati successivamente distinti in tre gruppi in base alle abilità grafiche valutate dalle maestre. Nonostante il giudizio sia qualitativo, è utile disporre di un parametro indipendente dall’applicazione per verificare quanto questa risponda alla verità. La valutazione del gioco da parte dei bambini è stata in generale positiva, confermando che è più facile e divertente mantenere alta l’attenzione quando si gioca. Figure 7: Menu principale dell’applicazione per bambini La legge dello steering è stata verificata calcolando il tempo impiegato a percorrere dei tunnel a diverso ID. Negli adulti ha dato buoni risultati nei simboli, ma le parole erano scarsamente lineari. La Figura 8 mette a confronto i parametri dell’interpolazione della legge nei bambini e negli adulti, per i cerchi. Figure 8: Il pannello a mostra i valori di R2 corretto nei bambini, divisi per giudizio, e negli adulti (neri). Il pannello b contiene i risultati della legge, con gli ID sulle ascisse e il tempo sulle ordinate, viola nei bambini, nero negli adulti. Il pannello c L’isocronia è stata testata sugli adulti, calcolando l’adattamento di velocità conseguente a diverse modalità di scrittura. La validità è stata confermata, sia sulle parole, sia sui simboli (si veda la Figura 9, pannello a), con un incremento di velocità con simboli più grandi (blu). Sui bambini, a lunghezze diverse si osservano tempi significativamente diversi, suggerendo che possa essere una caratteristica ancora da sviluppare, legata probabilmente all’apprendimento della scrittura. Il Pannello b di Figura 9 mostra, invece, i risultati dell’omotetia sulla scrittura libera. Essa è stata verificata confrontando il tempo relativo impiegato nello scrivere ogni singola lettera, rispetto al totale della parola, che deve mantenersi costante in diverse modalità di scrittura. Figure 9: La Figura mostra esempi di isocronia sui cerchi (pannello a) e omotetia sulle parole (pannello b) La correlazione tra i punteggi dei giochi di Ritmo e Copia (Denver) con i giudizi delle maestre ha dato una correlazione moderatamente positiva (0.4) nel primo e più significativa nel secondo (-0.6). Infine, sono state valutate le pressioni esercitate durante il gesto grafico. È stata necessaria una calibrazione preliminare, perché sia la penna sia il tablet utilizzati non davano una risposta lineare. Dopodiché, sono state proposte alcune considerazioni generali sull’adattamento alla superficie, sui picchi di pressione e sulla ripetibilità fra diverse prove (Figura 10). La pressione media, invece, risulta essere un parametro non discriminante allo scopo di classificare i bambini in base alle loro abilità grafiche. Figure 10: La Figura mostra due esempi del gioco sull’Isocronia nell’applicazione dei bamini, con un soggetto “bravo” a sinistra e uno “scarso” a destra. Per entrambi si riportano le tracce originali, la pressione e la velocità. La reazione dei bambini è stata positiva, anche se i risultati in alcuni casi non erano sufficientemente numerosi da valutarli con una statistica significativa. Sarebbe quindi opportuno ripetere le acquisizioni per poter giungere a delle conclusioni efficaci. I risultati sugli adulti, invece, sono molto incoraggianti: l’esercizio sulla relazione tra velocità e accuratezza testata dovrebbe essere ampliata a soggetti disgrafici, per avere una conferma che questi giochi possono essere utilizzati per una diagnosi precoce.