Brain inspired sensorimotor robotic platform : evaluation of learning features of a cerebellar realistic model

1 STATE OF THE ART AND AIM OF THE WORK Neurorobotics combines the study of neuroscience and robotics embedding brain-inspired modules in the control system of robotic devices. Its main purpose is to understand computational mechanisms and biologically inspired theories and to test them in a real world rather than in a simulation environment. In the framework of distributed motor control, connecting brain-inspired kinematic and dynamic models, human-like movement planning strategies and adaptive neural systems inside the same controller can be an effective way of constructing a control system that exhibits a human-like behavior. Motor learning is fundamental in complicated movements such as playing the piano, but it is also important for calibrating simple movements like reflexes, as parameters of the body and environment change over time. Cerebellum-dependent learning is demonstrated in different contexts [36], [72], such as multiple forms of associative learning, where the learning is based on the stimulus-response association. Eye-blink conditioning, saccadic eye movements, vestibular ocular reflex and reaching arm movements are well-known examples of these mechanisms [27]. Many studies on the cerebellum functioning suggest that learning is the consequence of changes in synaptic plasticity within the cerebellar network [24]. Both Marr-Albus and Ito models propose that changes in the strengths of parallel fiber–Purkinje cell synapses could store stimulus-response associations by linking inputs with appropriate motor outputs, following a Hebbian learning approach. Thus, error-based learning and predictive outputs are working principles of these cerebellum models [20], [21]. The aim of my work is the development of a real human-like sensorimotor platform that takes into account the main features of the motor control system. It integrates sensory systems which themselves monitor both the environment and the muscular-skeletal system state, and it controls the robot through torque values which represent motor command to its joint actuators. Motor commands are defined pursuant to feedback, feedforward inverse dynamic model and cerebellar contribution as it occurs in biological systems. In conclusion, the robotic control has been designed as a real-time coupling of multiple neuronal structures and mechanisms in which the cerebellum model, based on the plasticity principles ascribed to the synapses between parallel fibers and Purkinje cells, is expected to learn throughout the task repetitions [73]. Three different protocols stressing the role of the cerebellum have been designed and implemented: the force field perturbations, the vestibulo-ocular reflex (VOR) and the obstacle avoidance. In both the first and second protocols the compensatory response induced by different stimuli is mainly ascribed to the cerebellum while, in the third, it is due to the interaction between several cerebral areas. During the execution of a fixed task, dynamic changes in the environment (e.g. force field perturbations) are compensated in order to complete the movement without distortions. The contribution of the cerebellum to this adaptation is due to intermediate and lateral parts of the anterior lobe (i.e. lobules I-V) [28]. The failure to generalize learning in cerebellar degenerative patients suggests that the cerebellum is able to learn an internal model of the dynamic perturbation and to use it in compensating for the novel dynamic during the movement [74]. The VOR produces eye movements which aim at stabilizing images on the retina during head movement. Its tuning is ascribed mainly to the cerebellum loop, in particular to the cerebellar flocculus which creates an inhibitory loop in the VOR circuit. There is much evidence of its role from lesions, pharmacological inactivation and genetic disruption studies [34]. The learning is based on the temporal association of the two stimuli, head turn and motion of retinal image, i.e. the system learns that one stimulus will be followed by another stimulus and a consequent predictive compensatory response is gradually produced and accurately tuned. Finally, the cerebellum interacts with motor and premotor cortex to avoid obstacles during a reaching movement. The feedforward implicit model in the cerebellum allows the system to estimate the current state of the hand from delayed sensory feedback and it may associate visual stimuli with risk of collision inducing an anticipatory correction to avoid the obstacle [38]. 2 MATERIALS AND METHODS 2.1 Robotic platform A flexible, not-cumbersome and maneuverable robotic platform has been built and its controller has been developed in Visual C++. The main robot is a Phantom Premium 1.0 (SensAble™), a lower friction haptic device with 3 rotational Degrees of Freedom (DoFs). It is equipped with digital encoders at each joint and it can be controlled with force and torque commands. It is integrated with a motion capture device, a VICRA-Polaris (NDI™), which is an optical measurement system acquiring marker-tools at 20 Hz. Another robotic device (Phantom Omni, SensAble™) is included into the platform with different roles depending on the analyzed procedure; in the force field perturbations protocol it produces the force field applying a constant force to the end-effector of the other Phantom while in the VOR protocol it imposes object motion. The controller has been developed exploiting the OpenHaptics Toolkit (SensAble™) and the Image-Guided Surgery Toolkit (IGSTK). In the OpenHaptics Toolkit, the Haptic Device Application Programming Interface (HDAPI) provides low-level access to the haptic device allowing torque signals to be sent to the robotic DoFs and signals from the encoders to be received. In order to guarantee stability, the control loop must be executed in a separate, high-priority thread at 1kHz rate. The hdSet and the hdGet functions have been included in the main code of the controller and integrated with different algorithms developed to run the experiments. Depending on the protocols, the number of employed DoFs has been changed. Visual information from both the internal and the external environment has been handled thanks to the IGSTK libraries (http://www.igstk.org/). When the visual integration is necessary, wireless passive tools are placed in correspondence of the robotic end-effector and of the objects of interest in the environment. In order to allow the match of information carried by signals from the tracking device (Visual system Vr) and the robot (Proprioceptive system Pr), an a-priori calibration has been defined which itself identifies the constant roto-translation between the reference systems of the two devices. 2.2 Cerebellum model The cerebellar system embedded into the whole control system is based on the model proposed by Garrido et al. [68]. It models Mossy Fibers (MF), GRanular layer (GR), Purkinje Cell layer (PC) and Deep Cerebellar Nuclei (DCN), taking into account the major hypothesis of functioning of these layers. MF connect with GR and DCN which themselves interconnect with PC. The axons of GR cells form the Parallel Fibers (PF) which create synapse with Purkinje cells in Purkinje Cell layer. Finally, the information from the Inferior Olive (IO) arrives to PC through Climbing Fibers (CF). The sensory input is used by the GR layer to generate the actual state; indeed, the GR layer is modeled as a state generator thus the number of PF is equal to the number of time samples of one repetition of the task and it changes depending on the protocol. Moreover, for each joint there is one pair of agonist-antagonist muscles so the number of Purkinje cells used in the model depends on the number of joints involved in the execution of the task. The CF carry visual and position errors according to the performed task. The model implements three plasticity mechanisms at different synapses: PF→PC (w), PC→DCN (b) and MF→DCN (v) but only the long-term depression (LTD) and long-term potentiation (LTP) mechanisms at cerebellar cortex (i.e. PF→PC) were taken into account. Both PF→PC and PC→DCN synapses are inhibitory while MF→DCN is excitatory. Learning occurs through changes of the strength of the synaptic weight (w) of PC→PF induced by errors signals which fed the cerebellum model. In the presence of small errors, the PC activity is high (i.e. the PC→PF weights are potentiated, LTP mechanism) and the DCN output is minimum; on the other hand, when the errors are high, the PC are inhibited (i.e. PC→PF weights are depressed, LTD mechanism) and the DCN output is maximum. 2.3 Protocols In parallel with the development of the software and its integration with the hardware components into the platform, a research has been conducted to find the best protocols that could test the cerebellum learning model. Protocol 1: force field perturbations In the first protocol, the force field perturbations, during a 3D reaching task the hand is pulled by a constant force that induces a deviation from the desired path [30]. The desired trajectory is a straight path computed in a-priori planning phase through the minimization of a cost function: the jerk, that is, the squared first derivative of the Cartesian hand acceleration [10]. Then, the inverse kinematic model of position converts the trajectory in joint-space coordinates. All the 3 DoFs of the Phantom Premium 1.0 are involved; the joint 1 represents the shoulder rotation in its elevation plane, joint 2 represents the shoulder elevation and joint 3 represents the elbow flexion. The end-effector represents the hand and since only proprioceptive information is useful as feedback and as driving signal for the adaptation of internal models [33], the visual system is not considered thus no calibration is needed. The cerebellar model receives as input three signal errors, one for each joint, computed as the difference between a-priori planned and actual angles measured from the encoders of the device (i.e. proprioceptive signals). Three torque values come out from the model and are added to the feedback and feedforward torques to control the joints motion. In order to quantify the compensatory action of the cerebellum the deviation index has been defined as the average of the 3D distance between the Cartesian desired trajectory and the actual performed trajectory. The tested sequence in this protocol is composed of three conditions; the first is a 3D reaching without perturbation, the second condition sees the introduction of a constant force field of 2N and again, in the third condition, the reaching is performed in a null field. The sequence is composed of 5, 95 and 20 trials, respectively, for a total of 120 repetitions. The desired path is defined as a straight line 12cm long, to be completed in 5 seconds (at constant velocity of 2.4 cm/s). The cerebellum outputs are sent to joint 1, joint 2 and joint 3 to compensate for the perturbation Protocol 2: vestibular-ocular reflex In the VOR protocol, the stimulus is the head turn, which is produced by rapidly imposing a motion to the joint 2 of the robotic device, with a pre-defined joint time-profile. This joint 2 turn represents a yaw rotation, in a head-fixed reference system (fixed robotic reference system). The gaze is defined as the orientation of the second link of the robot, i.e. the one linking joint 2 and joint 3. The visual error carried by CF is the image retinal slip and it is computed with data from the optical tracking system. Assuming that the goal is to fix an environmental object, this visual error is computed as the disalignment angle with respect to the stable condition before head turn, where the gaze direction and the object center are aligned. The acquisition frequency of the tracking system is lower than the servo loop that controls the device as in biological systems the retinal slip is more delayed or not strictly synchronized with the faster vestibular information. Moreover, to maintain the neurophysiological parallelism, during the head turn, the only controller acting on joint 3 (compensatory eye turn) is the cerebellum; since the required rapid reflexive response to compensate for head motion, the inaccurate and delayed feedback cannot be activated. It is worthy to note that the robotic device is used so as to get the two involved joints (joints 2 and 3) moving on a horizontal plane, where gravity does not have to be counterbalanced. In order to quantify the VOR performance, the gain at maximum vestibular stimulus has been computed, as absolute ratio between eye turn and head turn (angles) at the maximum achieved head turn. Two tests are defined to quantify the modulation of VOR with different stimuli presentation. In particular, in the Test 1 (calibration) a sequence of 130 trials is composed of two conditions of 110 and 20 repetitions, respectively. In the first condition, a head turn of 22° with a speed equal to 5.5°/s is imposed while in the second condition the head turn is halved (11° at 2.75 °/s). Each trial lasts 4.5 seconds thus it includes a stabilization phase of 0.5 seconds between consecutive trials in which the gaze direction is aligned with the object center. In Test 2 (head motion + object motion) the head motion is paired with an additive image motion, that is, the image motion is due both to head turn and real object displacement [36]. A sequence of 110 trials is tested in which the head turns of 22° in 4s as in the first condition of Test 1; the object is attached to the Phantom Omni and, when it moves, it has a speed equal to 4cm/s. Three conditions are defined; in the first one the object is fixed, then, in the second condition, the object moves in the same direction with respect of the head rotation and in the third it moves in the opposite direction. Finally, both synchronous and asynchronous object motions are tested; in synchronous object motion the onset of the object displacement is simultaneous with the onset of the head turn while in the asynchronous object motion the object is moved at the end of the head turn (last second of head rotation). Protocol 3: obstacle avoidance In the obstacle avoidance protocol during a 3D reaching task an obstacle interferes with the trajectory of the hand. As in the force field perturbations protocol, the desired Cartesian trajectory is computed in an a-priori planning phase and then translated into joint-space coordinates. Moreover, all the 3 DoFs of the Phantom Premium 1.0 are involved in the task and the same neurophysiological parallelism is done. Visual information from the optical tracking system allows the risk of collision to be detected. Each time the obstacle is interposed along the trajectory of the hand, a replanning procedure is run in order to change the desired path and to avoid the obstacle. Again, as in the force field perturbations protocol, the somatosensory information carried by CF is the angular error of each joint and the cerebellar torques are added to feedback and feedforward torques. In order to analyze the contribution of the cerebellum in the task, the mean angular error (MAE) parameter has been established as the average, for each trial, of the difference between desired and actual angles. The desired trajectory in each repetition of the implemented sequence is a straight path, 21 cm long at constant velocity of 2.1 cm/s. 3 RESULTS Protocol 1: force field perturbations The results of the performed test in the force field perturbations protocol highlight the ability of the cerebellum to learn to compensate, in an anticipatory way, the perturbation introduced by the environment. In the first repetitions of the 3D reaching in the force field, the deviation from the desired trajectory is high but, with repetitions, the cerebellum increases its contribution and the performed path tends to the ideal one. Moreover, the appearance of the after-effect phenomenon demonstrates that the compensation is due to the learning of an internal model of the dynamic changes in the environment [30]. This phenomenon consists in an overcompensation from the cerebellum, in the first trials of the task after the force removal. The effect of this overcompensation is a deviation from the trajectory in the opposite direction with respect to the deviation due to the force field. Again, the cerebellum is able to retune, in a faster way, its action in order to go back to the optimal trajectory. Protocol 2: vestibulo-ocular reflex In the VOR protocol, the results of Test 1 demonstrate the concept of generalization of learning. At the beginning of the first condition the compensatory eye movement is almost nil, thus when the head turns, there is an image motion on the retina resulting in a blurred vision. The training of the cerebellum along task repetitions leads to the calibration of the VOR reducing and stabilizing the gaze error. In the second condition, the reduction of head turn imposes a new tuning of the eye compensation which occurs in a faster way; once the cerebellum has been trained, it is able to exploit previous learnt model and rapidly adapt to similar stimuli. The ability of VOR to respond to additive perturbations due to object displacement is demonstrated with the results of the Test 2. Once the cerebellum is trained, when the object moves in the same direction of the head, the eye displacement is decreased (gain down); on the other hand, when the object moves in the opposite direction the eye displacement increases (gain up). Protocol 3: obstacle avoidance Finally, in the obstacle avoidance protocol the repetition of the task leads to a reduction of the feedback torques and to an increase of the cerebellum activity, in conjunction with a more accurate performance. Thus the cerebellum updates the feedforward model and helps in stabilizing the movement with a predictive compensation triggered by visual cues. Since the obstacle avoidance is an example of complex motor task, more significant results could be achieved combining all the high-level processes within the cerebral network. 4 CONCLUSIONS AND FUTURE DEVELOPMENTS The three protocols examined show how the function of the cerebellar model changes depending on the inputs/outputs connections imposed by the motor task and how it adapts its contribution in the control of the system in which is embedded. The learning process is mainly ascribed to LTD and LTP mechanisms; when the learning process starts, the DCN activity is inhibited then, if the cerebellum needs to increase its contribution (e.g. to compensate for force perturbations or to increase eye motion in the VOR), the LTD mechanism occurs and thus the reduction of PC activity increases the DCN activity (inhibitory connection). On the other hand, when the contribution of the cerebellum has to be reduced (e.g. after-effect in force field perturbations or gain down in VOR protocols), the antagonist DCN activity is increased (LTD mechanism on PF ¨PC synapse) and the agonist DCN activity is reduced (LTP mechanism on PF ¨PC synapse); the stiffness of the muscle is temporarily increased and, after some time, it is reduced to the minimal level. Hence, the general capacity of motor learning to exhibit specificity for the particular stimuli present during training in the three defined paradigms can be explained by a simple model with parallel, sparsely coded channels, and with a single plasticity mechanism that alters a subset of these channels. In conclusion, the developed platform, a real neuro-robot able to interact with the environment in multiple forms, is a flexible and versatile test bed to concretely interpret specific features of the cerebellar structure in terms of neural connectivity, plasticity mechanisms and functional roles into different closed-loop sensorimotor tasks. In order to make the structure of the learning module even more realistic and similar to a neurophysiological network, next steps will be the activation of multi-plasticity mechanisms that take in consideration other aspects of learning and their testing with new protocols. For example, the importance of MF→DCN and PF→DCN plasticity in controlling cerebellar learning in eye-blink conditioning (i.e. the correct timing of the response) [71]. Finally a challenging improvement will be the replacement of the analog version of the developed neural network with a spiking version; indeed, spiking neural networks allow for a huge amount of neurons to be deal with, but with the advantage of high-speed simulation [45].

1 SCOPO E STRUTTURA DEL LAVORO La Neurorobotica combina le conoscenze di Neuroscienza e Robotica inserendo modelli computazionali nel sistema di controllo di dispositivi robotici; tali algoritmi simulano la struttura e il funzionamento del cervello. I principali scopi di questa disciplina sono l’analisi e la comprensione di modelli basati sullo studio di sistemi biologici e la loro successiva validazione, tramite esperimenti che riproducono le reali interazioni che avvengono nell’ambiente. Un controllore biomimetico che replichi i reali processi coinvolti nel controllo motorio vede l’integrazione di modelli cinematici e dinamici basati sui meccanismi cerebrali, reti neurali adattative e la pianificazione di movimenti che riprendano il comportamento umano. L’apprendimento motorio permette l’acquisizione di nuove abilità motorie ed è importante sia nell’esecuzione di movimenti complessi, sia nella calibrazione di riflessi e correzioni, indotte da cambiamenti nel tempo dell’ambiente. Il coinvolgimento del cervelletto nell’apprendimento è stato dimostrato in svariati contesti [36], [72]; in particolare, nell’ apprendimento di tipo associativo per contingenza temporale (condizionamento classico), esso è responsabile dell’associazione stimolo-risposta. Alcuni esempi di tale apprendimento sono il condizionamento del battito palpebrale, il riflesso vestibolo-oculare e il movimento degli arti in compiti di raggiungimento [27]. Numerosi studi neurofisiologici sul funzionamento del cervelletto suggeriscono che l’apprendimento sia dovuto a cambiamenti di plasticità sinaptiche all’interno della struttura cerebellare [24]. Nei modelli proposti da Marr-Albus e Ito, cambiamenti nelle sinapsi tra fibre parallele e cellule del Purkinje codificano associazioni simolo-risposta e mettono quindi in relazione le informazioni sensorimotorie in ingresso con appropriate uscite motorie, seguendo un approccio di tipo Hebbiano. I principi chiave di questi modelli sono quindi un apprendimento basato sull’errore e la generazione di comandi motori anticipatori [20], [21]. Lo scopo del mio lavoro è stato lo sviluppo di una piattaforma robotica che considerasse i principali aspetti del sistema di controllo motorio e riproducesse un comportamento sensorimotorio simile a quello umano. Tale piattaforma integra sistemi sensoriali in grado di monitorare lo stato dell’ambiente e del sistema muscoloscheletrico, e invia comandi motori al dispositivo robotico tramite valori di coppia che controllano gli attuatori (motori) dei giunti. I comandi motori sono definiti, come avviene nei sistemi biologici, sommando le componenti di feedback, feedforward e i contributi del cervelletto. In conclusione, la cooperazione di molteplici meccanismi e strutture neuronali permette un funzionamento real-time del controllore biomimetico. Inoltre, il modello del cervelletto, integrato in quest’ultimo, si basa sui principi di plasticità attribuiti alle sinapsi tra fibre parallele e cellule del Purkinje e il suo addestramento avviene tramite la ripetizione del compito motorio [73]. Per testare le capacità della rete, sono stati definiti e implementati tre protocolli che mettessero in risalto il ruolo del cervelletto in differenti compiti motori; il Protocollo 1 analizza l’effetto di perturbazioni dovute a un campo di forze, il Protocollo 2 approfondisce il riflesso vestibolooculare e il Protocollo 3 studia compiti di raggiungimento in presenza di ostacoli. Da esperimenti in letteratura è stato ampiamente dimostrato che la funzione del cervelletto nei primi due casi è fondamentale; nella terza condizione, invece, esso assieme ad altre aree cerebrali costituisce il complesso circuito neuronale coinvolo nel compito motorio. Durante l’esecuzione di un particolare compito motorio, il contributo delle parti intermediale e laterale dei lobi I-V del cervelletto permette di evitare distorsioni nello svolgimento del movimento, in presenza di cambiamenti dinamici dell’ambiente quali un campo di forze [28]. Pazienti con degenerazioni cerebellari presentano un’incapacità di generalizzazione dell’apprendimento e questo suggerisce che il cervelletto, durante una fase di addestramento, sia in grado di creare un modello interno della perturbazione e utilizzarlo per compensare la nuova dinamica del sistema [74]. Il riflesso vestibolo-oculare (VOR) produce un movimento compensatorio degli occhi che permette di mantenere lo sguardo fisso su un’immagine anche durante la rotazione del capo. Il ruolo del cervelletto, e in particolare l’azione inibitoria del flocculo nel circuito del VOR, è stato dimostrato da numerosi studi su soggetti con lesioni cerebellari, disturbi genetici e tramite inattivazioni farmacologiche [34]. L’apprendimento, in questo caso, si basa sull’associazione temporale di due stimoli; il sistema, infatti, impara che a uno stimolo (rotazione del capo) ne seguirà un altro (scivolamento dell’immagine sulla retina) e gradualmente produce una risposta compensatoria (rotazione degli occhi nella direzione opposta rispetto a quella del capo). In ultimo, il cervelletto interagisce con l’area motoria durante compiti di raggiungimento in presenza di ostacoli. Alcuni studi, infatti, suggeriscono che stimoli visivi possano essere associati al rischio di collisione e inducano una correzione anticipatoria tramite l’aggiornamento del modello feedforward [38]. 2 MATERIALI E METODI 2.1 Piattaforma robotica La piattaforma robotica progettata presenta grande versatilità e manovrabilità e il suo controllore è stato sviluppato in Visual C++. Il robot principalmente usato è il Phantom Premiun 1.0 (Sensable™); un dispositivo aptico a 3 gradi di libertà che presenta su ciascun giunto rotazionale un encoder digitale, e che può essere controllato o con valori di forze o con valori di coppie. Il dispositivo si collega al PC tramite porta parallela ed è integrato a un sistema di misura ottica, VICRA-Polaris (NDI™), in cui la telecamera emette raggi infrarossi che le permettono di rilevare la posizione di tools costituiti marcatori di materiale riflettente, a una frequenza di 20 Hz. Un secondo dispositivo robotico (Phantom Omni, Sensable™) è inserito nella piattaforma e, a seconda del protocollo, è stato utilizzato per indurre una diversa perturbazione. Il controllore è stato sviluppato sfruttando OpenHaptics Toolkit (Sensable™) e Image-Guided Surgery Toolkit (IGSTK). Grazie a comandi definiti nelle librerie Haptic Device Application Programming Interface (HDAPI), il primo, permette un controllo a basso livello del dispositivo. Le funzioni hdSet e hdGet per inviare valori di coppia e ricevere segnali dagli encoders sono state integrate nel codice principale del controllore. Sono stati inoltre sviluppati diversi algoritmi per la gestione degli esperimenti nei tre protocolli. Grazie alle librerie IGSTK (http://www.igstk.org/) è stato possibile integrare le informazioni provenienti dal sistema di misura ottica con quelle in arrivo dal dispositivo robotico. In particolare, è stata sviluppata una procedura di calibrazione che identifica la rototraslazione tra il sistema di riferimento del VICRA (Sistema visivo) e il sistema di riferimento del robot (Sistema Propriocettivo). 2.2 Modello del cervelletto La rete integrata nel controllore che simula il comportamento del cervelletto si basa sul modello proposto da Garrido et al. [68]. Il modello considera le ipotesi del funzionamento degli strati cerebellari modellizzando le fibre muscoidi (MF), lo strato dei Granuli (GR), lo strato delle cellule del Purknje (PC) e i nuclei cerebellari profondi (DCN). Le fibre muscoidi formano sinapsi con le cellule dei Granuli e con i nuclei cerebellari profondi che a loro volta sono interconnessi con lo strato delle cellule del Purkinje. Gli assoni delle cellule dei Granuli formano le fibre parallele (PC) che sinaptano con le cellule del Purkinje. Infine, informazioni provenienti dal nucleo olivare inferiore (IO) arrivano allo strato delle cellule del Purkinje attraverso le fibre rampicanti (CF). Informazioni vestibolari sono usate dallo strato delle cellule dei Granuli per generare lo stato attuale; questo strato, infatti, è modelizzato come un generatore di stato dunque il numero di fibre parallele è uguale al numero di istanti temporali di una ripetizione del compito motorio e varia a seconda del protocollo. Inoltre, per ciascuno giunto c’è una coppia di muscoli agonista-antagonista, perciò il numero di cellule del Purkinje usate dal modello dipende dal numero di gradi di libertà coinvolti nel compito motorio. Le fibre rampicanti portano informazioni riguardanti errori visivi o di posizione a seconda del protocollo analizzato. Il modello prevede differenti meccanismi di plasticità in tre siti sinaptici: tra fibre parallele e cellule del Purkinje PF→PC (pesi sinaptici w), tra cellule del Purkinje e nuclei cerebel-lari profondi PC ¨DCN (pesi sinaptici b) e tra fibre muscoidi e nuclei cerebellari profondi MF ¨DNC (pesi sinaptici v). Tuttavia, sono variati solamente i pesi w delle sinapsi tra PF ¨PC tramite i processi di depressione a lungo termine (LTD) e il potenziamento a lungo termine (LTP); b e v sono costanti e pari a 1. Infine, PF ¨PC e PC ¨DCN sono sinapsi di tipo inibitorio mentre MF ¨DNC di tipo eccitatorio . Figure 0.8.: Le fibre muscoidi (MF) mandano informazioni sia alle cellule dei Granuli nello strato dei Granuli (GR), sia ai nuclei cerebellari profondi (DCN). Quest fultimi ricevono segnali anche dallo strato delle cellule del Purkinje (PC), che a sua volta integra informazioni provenienti dallo strato delle cellule dei Granuli tramite le fibre parallele (PF) e quelle in arrivo dal nucleo olivare (IO) attraverso le fibre rampicanti (CF). L fapprendimento avviene grazie a cambiamenti dei pesi sinaptici w indotto da segnali di errore in ingresso al modello. In presenza di piccoli errori, l fattivita delle cellule del Purkinje e alta quindi i pesi sono potenziati (LTP) e l fuscita dei nuclei cerebellari profondi e minima; al contrario, con errori elevati le cellule del Purkinje sono inibite quindi i pesi vengono depotenziati e l fuscita dei nuclei cerebellari profondi e massima. 2.3 Protocolli Parallelamente allo sviluppo del software e della sua integrazione con le componenti hardware del sistema, e stata fatta un fapprofondita ricerca per stabilire i protocolli che meglio testassero le capacita di apprendimento del modello di cervelletto. Protocollo 1 Nel Protocollo 1, durante un compito di raggiungimento la mano e tirata da una forza costante che induce una deviazione dalla traiettoria desiderata [30]. Il percorso previsto per questo compito motorio e una traiettoria rettilinea, stabilita in una fase di pianificazione a priori attraverso la minimizzazione del jerk, una funzione di costo che considera il quadrato della derivata prima dell faccelerazione della mano [10]. Successivamente, il modello di cinematica inversa permette di tradurre la traiettoria Cartesiana in coordinate angolari. Tutti e 3 i gradi di liberta del Phantom Premium 1.0 sono coinvolti nel compito motorio e nello specifico, il primo giunto rappresenta la rotazione della spalla nel suo piano di elevazione, il secondo rappresenta l’elevazione della spalla e il terzo giunto la flessione del gomito. L’end- effector rappresenta la mano e, poiché in questo protocollo le informazioni visive non sono utilizzate [33], non è necessaria alcuna procedura di calibrazione. Il modello riceve in ingresso tre segnali di errore, uno per ciascun giunto, calcolati come la differenza tra gli angoli desiderati stabiliti a priori e quelli attuali misurati dagli encoders del dispositivo (segnali propriocettivi). I tre segnali di coppia che escono dalla rete sono integrati con i valori di feedback e di feedforward e insieme controllano il movimento dei giunti. Per quantificare l’azione compensatoria del cervelletto è stato definito l’indice di deviazione come la distanza media tra la traiettoria Cartesiana desiderata e quella attuale eseguita dal robot. La sequenza testata in questo protocollo è costituita da tre condizioni di 5, 95 e 20 ripetizioni ciascuna, per un totale di 120 ripetizioni. Nella prima condizione il compito di raggiungimento è fatto senza alcuna perturbazione, nella seconda viene applicata una forza costante di 2N tramite il Phantom Omni e nell’ultima la forza viene rimossa. Il percorso desiderato è costituito da una linea retta di 12 cm da completare in 5 secondi a una velocità costante di 2.4 cm/s. Le uscite del cervelletto sono mandate ai tre giunti permettendo così di compensare l’effetto della perturbazione. Protocollo 2 Nel Protocollo 2, lo stimolo è costituito dalla rotazione del capo prodotta imponendo il movimento del secondo giunto del dispositivo attraverso un profilo angolare nel tempo definito a priori. In particolare, la rotazione rappresenta un’imbardata cioè avviene attorno all’asse passante per il baricentro della testa. Lo sguardo è definito come l’orientazione del secondo link che collega il secondo e il terzo giunto. L’errore visivo trasportato dalle fibre rampicanti è lo scivolamento dell’immagine sulla retina ed è calcolato a partire dai dati ottenuti con il sistema di rilevazione ottica. Assumendo che lo scopo sia tenere lo sguardo fisso su un oggetto dell’ambiente, l’errore visivo è stimato come l’angolo di disallineamento rispetto alla condizione iniziale in cui il capo non è stato ancora ruotato. La frequenza di acquisizione del sistema ottico è inferiore al servo loop che controlla il dispositivo, proprio come avviene nei sistemi biologici in cui informazioni sullo scivolamento dell’immagine retinica sono ritardate rispetto a quelle provenienti dal sistema vestibolare. Inoltre, per mantenere il parallelismo neurofisiologico, durante la rotazione del capo il terzo giunto (movimento compensatorio degli occhi) è controllato solamente dal cervelletto; infatti, data la rapida risposta riflessiva necessaria per compensare il movimento della testa, il contributo del feedback non può essere attivato poiché è inaccurato e presenta ritardi. In questo protocollo, il dispositivo robotico è stato ruotato in modo che il secondo e il terzo giunto si muovessero in un piano orizzontale e non fosse necessaria una compensazione antigravitaria. Al fine di quantificare l’entità del VOR, è stato calcolato il guadagno come valore assoluto del rapporto tra gli angoli dei due giunti nell’ultimo istante temporale della ripetizione, quando la rotazione della testa ha raggiunto l’ampiezza massima. I giunti rappresentano, rispettivamente, lo spostamento degli occhi e la rotazione del capo. Per analizzare la modulazione del VOR sono stati definiti due test caratterizzati da due diversi stimoli. Nel Test 1 (calibrazione) si ha una sequenza composta da due condizioni rispettivamente di 110 e 20 ripetizioni; nella prima, il capo è ruotato di 22° con una velocità di 5.5 °/s mentre, nella seconda, l’ampiezza della rotazione e di 11° e la velocità è pari a 2.75 °/s. Ciascuna ripetizione dura 4.5 secondi in cui si hanno 0.5 secondi di stabilizzazione, tra ripetizioni successive, che permettono il riallineamento dello sguardo con il centro dell’oggetto. Nel Test 2 (movimento del capo e dell’immagine), lo scivolamento dell’immagine è dovuto sia alla rotazione del capo, sia al reale spostamento dell’oggetto [36] che avviene tramite il Phantom Omni. La rotazione del capo è uguale a quella della prima condizione del Test 1 (22° in 4 secondi) e l’oggetto applicato all’end-effector del secondo dispositivo, quando si muove, ha una velocità di 4 cm/s. Anche per questo test sono state definite diverse condizioni; nella prima l’oggetto è fermo e nella seconda si muove o nella stessa direzione della rotazione del capo o direzione opposta. Infine, sono stati testati sia movimenti sincroni che movimenti asincroni dell’immagine; nei primi lo spostamento dell’oggetto inizia con la rotazione del capo, al contrario, negli ultimi, inizia all’ultimo secondo del movimento della testa. Il numero di ripetizioni della sequenza è stato variato a seconda del tipo di movimento. Protocollo 3 Nel Protocollo 3, durante il comando di raggiungimento, un ostacolo interferisce con la traiettoria della mano. Come nel Protocollo 1, la traiettoria Cartesiana desiderata è calcolata a priori nella fase di pianificazione e poi trasportata in coordinate angolari. Inoltre, tutti e 3 i gradi di libertà del Phantom Premium 1.0 sono coinvolti nel movimento e viene considerato lo stesso parallelismo neurofisiologico del Protocollo 1. Informazioni visive provenienti dal sistema ottico permettono di percepire il rischio di collisione con l’ostacolo. Ogni volta che l’ostacolo interferisce con la traiettoria della mano, si ha una procedura di ripianificazione al fine di cambiare il percorso desiderato ed evitare l’ostacolo. Di nuovo, come nel Protocollo 1, le informazioni somatosensoriali portate dalle fibre rampicanti sono gli errori angolari di ciascun giunto e, i contributi di coppia del cervelletto sono aggiunti alle componenti di feedback e feedforward. Al fine di analizzare l’azione del cervelletto nel compito motorio è stato definito l’errore angolare medio (MAE) come la media, per ciascuna ripetizione, della differenza tra gli angoli desiderati e quelli attuali. La traiettoria desiderata è rappresentata da una linea retta lunga 21 cm che deve essere percorsa con una velocità costante di 2.1 cm/s. 3 RISULTATI Protocollo 1 Dai risultati dei test eseguiti nel Protocollo 1 emerge la capacità del cervelletto di imparare a compensare, in modo anticipatorio, la perturbazione introdotta dall’ambiente circostante. Nelle prime ripetizioni del compito di raggiungimento nel campo di forze, la deviazione dalla traiettoria desiderata è alta ma, in seguito, il contributo cerebellare aumenta e il percorso della mano tende a quello ideale. Inoltre, la comparsa del fenomeno di after-effect dimostra che la compensazione è dovuta all’apprendimento di un modello interno dei cambiamenti dinamici dell’ambiente [30]. Il fenomeno dell’after-effect consiste in un’ overcompensazione, da parte del cervelletto, nelle prime ripetizioni successive alla rimozione della forza. L’eccessivo contributo della struttura cerebellare induce una deviazione della traiettoria nella direzione opposta rispetto a quella che si ha, in assenza di compensazioni, a causa del campo di forze. Dopo alcune ripetizioni, il cervelletto è in grado di rimodulare rapidamente la sua azione e la mano torna ad eseguire una traiettoria ottimale. Protocollo 2 Nel Protocollo 2, i risultati del Test 1 chiarificano il concetto di apprendimento generalizzato. All’inizio della prima condizione il movimento compensatorio degli occhi e pressoché nullo e la rotazione del capo causa uno scivolamento dell’immagine della retina e, di conseguenza, una visione sfuocata. Tuttavia, l’addestramento del cervelletto porta alla calibrazione del riflesso vestibolo oculare e a una stabilizzazione dell’errore dello sguardo. Nella seconda condizione, la riduzione del movimento del capo impone un nuovo adeguamento del movimento oculare che però avviene più velocemente in quanto, una volta che il cervelletto è stato addestrato, è in grado di sfruttare il modello precedentemente imparato e adattarlo rapidamente al nuovo stimolo. La capacità del VOR di rispondere a perturbazioni additive dovute allo spostamento dell’immagine è dimostrata dai risultati del Test 2. Se il cervelletto è stato addestrato, quando l’oggetto si muove nella stessa direzione della rotazione della testa, il movimento degli occhi è diminuito (riduzione del guadagno); al contrario, se l’oggetto si muove nella direzione opposta, l’azione del cervelletto è nuovamente aumentata (incremento del guadagno). Protocollo 3 I risultati dei test del Protocollo 3 suggeriscono che il cervelletto contribuisca alla stabilizzazione del movimento con una compensazione di tipo predittivo indotta da stimoli visivi. La ripetizione del compito motorio, infatti, porta ad una riduzione della compontente di feed- back e a un aumento dell’attività cerebellare, in concomitanza con un miglioramento della prestazione. 4 CONCLUSIONI E SVILUPPI FUTURI I tre protocolli esaminati mostrano come la funzione del modello del cervelletto cambi a seconda degli ingressi e delle uscite imposte dal comando motorio e come si modifichi il suo contributo all’interno del sistema in cui è integrato. Il processo di apprendimento è attribuito principalmente ai meccanismi di depressione (LTD) e potenziamento (LTP) a lungo termine che avvengono alle sinapsi tra fibre parallele e cellule del Purkinje. All’inizio dell’apprendimento l’attività dei nuclei cerebellari profondi è inibita, successivamente, se il contributo del cervelletto deve essere aumentato, ad esempio per compensare perturbazioni dovute a campi di forze o indurre un movimento compensatorio degli occhi, si ha il processo di depressione a lungo termine e la riduzione dell’attività delle cellule del Purkinje fa aumentare l’attività dei nuclei cerebellari profondi. Al contrario, se il cervelletto deve diminuire la sua azione, ad esempio in presenza del fenomeno dell’after-effect o nella riduzione del guadagno nel VOR, l’attività dei nuclei cerebellari profondi del muscolo agonista è ridotta (LTD ) e, contemporaneamente, è aumentata quella dei nuclei cerebellari profondi del muscolo antagonista . Quest’azione combinata provoca il temporaneo aumento della stiffness del muscolo che viene poi ridotta a un livello minimo. Dai risultati degli esperimenti nei tre protocolli si evince come nel processo di apprendimento motorio ci sia una diversa risposta a seconda dello stimolo presentato. Questa capacità di specializzazione può essere spiegata da un modello a canali paralleli in cui ingressi simili sono codificati dall’attività di una vasta popolazione di neuroni nello strato delle cellule dei Granuli, e in cui l’unica plasticità considerata altera un sottoinsieme di questi canali. In conclusione, la piattaforma sviluppata risulta essere un neuro-robot in grado di interagire in svariati modi con l’ambiente circostante e può essere utilizzata in maniera versatile e flessibile per interpretare concretamente caratteristiche specifiche della struttura cerebellare, in termini di connessioni neuronali, meccanismi di plasticità e ruoli funzionali in differenti compiti motori. Per rendere la struttura del modulo di apprendimento ancora più realistica e simile ad una rete neurofisiologica, gli sviluppi futuri prevedono la sostituzione della versione analogica della rete neurale con una versione di tipo spike; le reti neurali di tipo spike, infatti, permettono l’utilizzo di un numero di neuroni molto maggiore, mantenendo però un’alta velocità di simulazione [45]. Infine, l’attivazione di ulteriori meccanismi sinaptici potrà permettere di prendere in considerazione altri aspetti dell’apprendimento che dovranno poi essere testati con nuovi protocolli. Ad esempio, svariati studi hanno dimostrato che il contributo del cervelletto nell’apprendere il corretto tempismo della risposta in esperimenti di condizionamento del battito palpebrale è dovuto principalmente a meccanismi di plasticità delle sinapsi tra fibre muscoidi e nuclei cerebellari profondi e quelle tra fibre parallele e nuclei cerebellari profondi [71