Pupillary dynamics in cognitive-affective protocols

Since James’ first work about the link between the physiological arousal and the experience of specific emotions, the opportunity to measure and to distin- guish different emotions from physiological signals, which might reflect inner ”change of state” due to emotions, is a current topic in the scientific community. In the context of affective research, one of the most important change is the hypothesis of the existence of the brain central autonomic network (CAN) influencing the sympathetic and parasympathetic systems. In this perspective, pupil size variation has gained an increasing interest. It is known that pupil size variations are directly governed by both the branches of the Autonomic Nervous System. Recently, it has been observed that the pupillomotor nuclei are influenced also by cortical and subcortical regions of the brain, strictly related to spatial orienting, memory, attention and physiological arousal. Given the large amount of environmental variables involved, the analysis of pupil size signal has important methodological and technical implications. The main topic of this dissertation is the sustained component of the pupil size in the context of affective and cognitive experimental protocols. The hypothesis is that, assuming the direct and indirect modulation of the pupil size variation from central and autonomic pathways, pupillary indexes computed on the pupil size signal can show dynamic responses to specific attributes of the stimuli, in particular emotional and cog- nitive attributes, under controlled experimental conditions. Therefore, the main aims are: 1) to design experimental protocols able to evoke such physiological responses and to verify that such responses are reflected into the dynamics of the pupil size signal. 2) To select, design, implement and tune an ad hoc method to reconstruct the missing data of the pupil size signal when eye blinks or other artifacts occur. 3) To analyze the re- constructed signal through signal processing methodologies in order to characterize the linear and nonlinear dynamics of the signal, also with respect to well-studied autonomic correlates such as heart rate variability and respiration signal. The obtained results indicate that the sustained component reflects the cardiores- piratory rhythms in response to affective activation evoked by both endogenous and exogenous stimuli and it can be used to predict and distinguish different activation states, at least in a multimodal framework. Moreover, frequency-domain and nonlinear indexes do not show to be influenced by physical attributed of visual stimuli such as the direct illumination and the chromatic component, while spatial complexity seems to influence the pupillary dynamics. The present dissertation confirms that pupil size signal is an interesting and promising physiological signal and it can be used to deepen the understanding of brain functionality, and in particular to unveil the interconnection between cognition and emotion, and ultimately, the interconnection between autonomic and central nervous system.

Sin dai primi lavori di James sul legame tra attivazione fisiologica e l'esperienza di emozioni specifiche, la possibilità di misurare e distinguere diverse emozioni da segnali fisiologici, che potrebbero riflettere "cambiamento di stato" interiori dovuti a emozioni, è un tema di attualità nella comunità scientifica. Nel campo dell'Affective Computing, uno dei cambiamenti più importanti è stata l'ipotesi dell'esistenza di una rete autonomica-centrale (CAN) che influenza i sistemi simpatico e parasimpatico. In questa prospettiva, la variazione della dimensione della pupilla ha guadagnato un crescente interesse. E' noto che le variazioni di dimensione della pupilla sono direttamente governate da entrambi i rami del sistema nervoso autonomo. Recentemente, è stato osservato che i nuclei pupillomotori sono influenzati anche dalle regioni corticali e subcorticali del cervello, strettamente correlate all'orientamento spaziale, la memoria, l'attenzione e l'attivazione fisiologica. Data la grande quantità di variabili ambientali coinvolti, l'analisi del segnale di diametro pupillare ha importanti implicazioni metodologiche e tecniche. Il tema principale di questa tesi è la componente tonica della dimensione della pupilla in contesto di protocolli sperimentali affettivi e cognitivi. L'ipotesi è che, assumendo la modulazione diretta e indiretta della variazione dimensioni della pupilla da vie centrali e autonomiche, gli indici pupillari calcolati sul segnale di diametro pupillare possono mostrare risposte dinamiche a caratteristiche specifiche degli stimoli, in particolare emotive e cognitive, in condizioni sperimentali controllate. Pertanto, gli obiettivi principali sono: 1) progettare protocolli sperimentali in grado di evocare tali risposte fisiologiche e verificare che tali risposte sono riflesse nella dinamica del segnale di diametro pupillare. 2) Selezionare, progettare, implementare e ottimizzare un metodo ad hoc per ricostruire i dati mancanti del segnale di diametro pupillare in caso di ammiccamento oculare o altri artefatti. 3) Analizzare ils egnale ricostruito attraverso metodologie di elaborazione del segnale, al fine di caratterizzare la dinamica non lineare del segnale, anche per quanto riguarda correlati autonomici ben lineari ben noti in Letteratura, quali la variabilità cardiaca e il respiro. I risultati ottenuti indicano che la componente tonica riflette i ritmi cardiorespiratori in risposta ad attivazione affettiva evocato sia da stimoli endogeni ed esogeni e può essere utilizzato per prevedere e distinguere l'attivazione in diversi stati, almeno in un contesto multimodale. Inoltre, indici nel dominio della frequenza e indici non lineari non mostrano di essere influenzato da attribuiti fisici degli stimoli visivi come l'illuminazione diretta e la componente cromatica, mentre la complessità spaziale sembra influenzare la dinamica pupillare. La presente tesi di Dottorato conferma che la dimensione della pupilla è un segnale fisiologico interessante e promettente e può essere utilizzato per approfondire la comprensione della funzionalità del cervello, ed in particolare per svelare l'interconnessione tra cognizione ed emozione, e in ultima analisi, l'interconnessione tra sistema nervoso autonomo e sistema nervoso centrale.