Towards the development of physiological models for emotion and stress assessment

In the last decades, there has been a growing interest in the literature concerning the assessment of stress and emotions, especially using physiological signals. Indeed, stress and emotion recognition systems have promising applications in several fields, such as health, human-machine interaction, and marketing. In particular, there is strong evidence of the consequences that high levels of chronic stress or negative emotions may have on people’s lives, such as burnout and increased cardiovascular risk; besides, chronic stress experienced in early childhood can lead to significant developmental outcomes. Since these consequences might severely affect life quality, monitoring of the personal stress and emotional state is advocated as essential to prevent or mitigate their effects, as well as to reduce abrupt performance drops in critical work environments (e.g., hospitals). In this context, specific physiological signals, such as electroencephalography (EEG), electrocardiography (ECG), and photoplethysmography (PPG), are envisaged as a mean for the objective assessment of individuals’ stress level and emotional state; also, ECG and PPG are appropriate candidates for their unobtrusive monitoring, since they can rely on smaller devices to be acquired. However, emotion and stress evaluation through physiological signals requires the definition of robust models that could relate the physiological response observed in a specific moment to the emotions or the stress level experienced at that moment. Moreover, their monitoring in daily life requires the adoption of wearable devices able to provide enough accurate measures of the physiological signals of interest. The present Ph.D. dissertation aims to evaluate the physiological response to different emotions and stress levels, select the most sensitive features to stress and emotional variations, and develop physiological models for emotion recognition. In Chapter 2, we apply linear mixed-effects regression models (LMM) to select the most valuable EEG features for the prediction of valence and arousal responses from a set of emotional pictures. For this study, 90 pictures selected from the International Affective Picture System (IAPS) database, grouped in nine different blocks of valence and arousal, were presented to a sample of healthy adults. Our feature selection procedure based on LMM proved accurate for choosing EEG indices that show higher explanatory power of valence and arousal scores. We confirmed the importance of frontal-theta power and frontal-alpha asymmetry for the assessment of the valence dimension and a major role of delta and theta rhythms in evaluating perceived arousal, as previously found in the literature. Moreover, since we opted for mixed-effects models instead of the more common single-level regression or classification approaches, we had the chance to evaluate individual (i.e., related to each subject’s characteristics) and population-level effects (shared among participants). Our final valence and arousal models achieved notable values of conditional R-squared (R2c≥0.839) but poor marginal ones (0.004≤R2m≤0.021). Such metrics indicated most of the model likelihood was explained by individual-level effects and, consequently, pointed out the high subjectivity of the physiological response elicited by the selected pictures. The specific standardization technique we used might have contributed to the low population-level variability explained by the final models. Hence, we offer some suggestions to improve the generalizability of these models and increase their applicability in emotion recognition applications. In Chapter 3, we compare three different algorithms for quantifying the respiratory sinus arrhythmia (RSA), a well-known marker of vagal activity, to select the most sensitive to stress variations. Two of these, namely the Porges algorithm and the univariate autoregressive (AR) approach, derive the RSA from the heart rate variability (HRV) only. In contrast, the bivariate AR analysis exploits both HRV and respiratory signals to automatically detect cardio-respiratory interactions and provide an RSA estimate based on the individual’s respiratory frequency. The comparison was conducted in a population of healthy preschoolers undergoing a validated experimental stressful procedure, which allowed us to evaluate the performance of the different methods in a more natural context, given the more spontaneous behavior of children compared with adult participants. Our results provide useful indications about the sensitivity of different RSA measures to stress variations and show that bivariate methods, which take into account both HRV and respiratory signals, produce significant improvements to stress detection. For example, the mean RSA percentage variation measured between the least and the most stressful protocol phases, namely the Baseline and First Separation, respectively, significantly differs among the compared methods (Porges: -17.5%; univariate AR: -18.3%; bivariate AR: -23.7%), showing that the bivariate AR approach has the highest sensitivity to the induced stress variations. Therefore, bivariate methods may provide more accurate measures of stress, especially in more natural contexts, when respiratory rate changes are more likely, making the choice of a predefined breathing frequency range unfeasible. Moreover, our simulations prove the robustness of the bivariate AR approach to noise sources commonly present in respiratory signals. Given the remarkable performance in stress detection achieved in our controlled laboratory setting, we recommend validating such bivariate methods in real-life conditions. Chapter 4 explores HRV patterns during the elicitation of the so-called flow state (a highly functional condition linked to increased motivation, effort, and perseverance) to select time-, frequency-domain, and non-linear HRV features predictive of this particular cognitive and emotional experience. Maximizing flow in work environments can improve productivity, shield from burnout, and sustain coping with job-related stress, which explains the recent growing interest in HRV features that may act as markers of the flow intensity. In the presented study, the flow state was elicited through arithmetical tasks of optimal difficulties, and the related HRV features were compared with those derived during the administration of tasks of suboptimal difficulties (i.e., too easy or too hard). Our exploratory analysis of the flow state reveals several HRV features that could be more promising to detect this particular cognitive and emotional experience. Specifically, some non-linear HRV indices, namely SD2 from Poincaré plots and the approximate entropy (AppEn), were found to vary significantly with the intensity of perceived flow. Interestingly, the variations of AppEn were found independent of time, suggesting it could be a robust marker of the flow experience, especially for long monitoring sessions. This particular aspect has never been highlighted in previous flow research. Among time-domain features, the average, standard deviation, and root mean square of successive differences (RMSSD) of the RR intervals were found to significantly discriminate the boredom (too easy) from the optimal difficulty task (i.e., the one that elicited the highest flow). However, a significant dependence of these indices from the time covariate discourages their use in prolonged flow assessments. Although several non-linear features were left out of this exploratory analysis, our results can help to define sensitive biomarkers of the flow experience. Future studies are encouraged to assess if combinations of various HRV features could improve flow state detection and evaluation. Chapter 5, offers an assessment of currently available wearable devices that could be employed, in the near future, for stress and emotion monitoring. This chapter has a twofold aim. First, we compare several HRV features extracted from an ECG-shirt and a PPG-wristband with those derived from a standard ECG. Second, since many wearable devices rely on low-sampling rate PPG for heart rate measurement, we investigate the efficacy of various PPG interpolation techniques on the accuracy of the derived HRV features at different sampling rates. Concerning the former objective, we highlight some current limitations regarding the use of PPG-wristbands for HRV-based stress monitoring. Specifically, our analyses confirmed the accuracy of the HRV measures provided by the ECG-shirt, which were highly comparable with those extracted from the reference ECG. On the contrary, PPG-derived inter-beat intervals (IBIs) and HRV indices significantly differed from the reference. The largest deviations from the gold-standard were observed in the Stand condition (with participants staying in an upright position), as partially expected due to the reduced skin adhesion of the PPG sensor. However, the percentage of missing beats was considerable (higher than 16%) even during protocol phases in which participants were seated, and the contact between sensor and skin was maximized. These findings suggest the need for improvements in the ergonomics of the examined PPG-wristband. Concerning the second objective, our study further elucidates the efficacy of spline and parabola interpolations to improve the accuracy of HRV measures extracted from low-sampling frequency PPG. Specifically, we show the importance of applying interpolation to PPG signals sampled at 32 Hz or lower rates. Our results provide PPG-wristbands manufacturers with an indication of the sampling rates at which the additional computational cost required by interpolation becomes essential to improve HRV estimates. Taken together, the results presented in this Ph.D. Thesis provide the following main contributions to the current research. They show the added value of applying mixed-effects modeling strategies to EEG-based emotion recognition. They substantiate the higher reliability as stress markers of bivariate measures of RSA compared with univariate ones and demonstrate the robustness of the bivariate AR analysis to common respiratory signal artifacts. They reveal several HRV indices, especially non-linear ones, that show high-sensitivity to variations of the flow experience. They highlight current limitations of using PPG signal for HRV assessment and prove the efficacy of different interpolation strategies to compensate for the discretization error introduced by low PPG sampling rates.

Negli ultimi decenni, vi è stata una forte crescita di interesse nella letteratura scientifica in merito alla valutazione di stress ed emozioni, specialmente tramite l’impiego di segnali fisiologici. Tale interesse è certamente motivato dalle applicazioni innovative che l’analisi dello stress e il riconoscimento delle emozioni possono avere in diversi campi, tra i quali la salute, l’interazione uomo macchina (HMI) e il marketing. In particolare, vi è una forte evidenza scientifica delle ricadute che alti livelli di stress ed emozioni negative potrebbero avere sulla nostra vita, come il fenomeno del “burnout” ed un aumento del rischio cardiovascolare. Inoltre, per quanto concerne la fascia di popolazione più giovane, vi sono indicazioni che forti livelli di stress cronico percepito dai bambini possa portare a significativi problemi di sviluppo. Dato che le conseguenze citate potrebbero influire considerevolmente sulla qualità della vita, il monitoraggio del livello di stress e dello stato emotivo è ritenuto, da molti, essenziale per prevenirne o mitigarne gli effetti e per ridurre il rischio di cali di attenzione improvvisi in ambienti di lavoro critici (per esempio, negli ospedali). In questo contesto, specifici segnali fisiologici, come quello elettroencefalografico (EEG), l’elettrocardiografia (ECG) e il segnale fotopletismografico (PPG), sono ritenuti mezzi idonei per una valutazione oggettiva del livello di stress e dello stato emotivo dei singoli individui. Inoltre, ECG e PPG rappresentano anche candidati interessanti per effettuarne un monitoraggio continuativo e del tutto confortevole, data la disponibilità di dispositivi indossabili dalle dimensioni molto contenute che possono registrare tali segnali. Ciò nonostante, la valutazione di emozioni e stress attraverso segnali fisiologici richiede la definizione di modelli robusti che possano relazionare la risposta fisiologica misurata in un dato istante con le emozioni o i livelli di stress percepiti in quel momento. Inoltre, il monitoraggio di emozioni e stress nella vita quotidiana richiede l’adozione di dispositivi indossabili che siano in grado di fornire segnali fisiologici sufficientemente accurati. La presente tesi di dottorato si propone i seguenti obiettivi principali: valutare la risposta fisiologica a diverse emozioni e livelli di stress; selezionare le features fisiologiche più sensibili alle variazioni di stress ed emozioni e sviluppare opportuni modelli fisiologici per il riconoscimento delle emozioni. Nel secondo capitolo della tesi, vengono utilizzati modelli lineari mixed-effects (LMM) per selezionare le features EEG più adatte a predire i valori di arousal e valence di un insieme di immagini emotive. Per questo studio, sono state scelte un totale di novanta immagini dal database dell’International Affective Picture System (IAPS). Tali immagini sono state raggruppate in nove diversi blocchi di valence ed arousal e presentate ad un campione di trentuno adulti sani. La procedura di selezione delle features, implementata utilizzando i LMM, si è dimostrata accurata nell’identificare gli indici EEG che mostrassero il più elevato potere esplicativo nei confronti dei punteggi di valence ed arousal. In particolare, essa ha confermato la relazione tra la potenza calcolata in banda teta frontale, l’indice di asimmetria in banda alfa frontale e la dimensione emotiva della valence; inoltre, la selezione delle features effettuata ha evidenziato anche l’importante ruolo dei ritmi in banda delta e teta nello spiegare i livelli di arousal percepiti, in accordo con la letteratura. In aggiunta, avendo optato per l’utilizzo di modelli mixed-effects invece dei più comuni modelli di regressione e classificazione a singolo livello, è stato possibile anche valutare, separatamente, gli effetti individuali (cioè, relativi ad ogni singolo soggetto) e di popolazione (condivisi tra tutti i partecipanti all’esperimento) associati ai modelli addestrati. A tal proposito, i modelli finali di valence ed arousal ottenuti presentano valori notevoli di coefficiente R-quadro condizionale (R2c≥0.839) ma scarsi valori di R-quadro marginale (0.004≤R2m≤0.021). Questo evidenzia come, nel campione considerato, la maggior parte della verosimiglianza sia spiegata dagli effetti individuali, piuttosto che da quelli di popolazione, e suggerisce un’elevata soggettività della risposta fisiologica elicitata dalle immagini selezionate. In particolare, la specifica tecnica di standardizzazione adottata potrebbe aver contribuito alla ridotta percentuale di varianza spiegata dagli effetti di popolazione nei modelli finali. Pertanto, al termine di questo capitolo vengono forniti anche dei suggerimenti per migliorare la capacità di generalizzazione dei modelli implementati, con lo scopo di favorirne l’applicazione nell’ambito del riconoscimento delle emozioni. Nel terzo capitolo, vengono confrontati tre diversi algoritmi per la quantificazione dell’aritmia respiratoria sinusale (RSA, un indice ben noto di attività vagale), per determinare i più sensibili alle variazioni di stress imposte da un particolare protocollo sperimentale. Tra questi algoritmi, due derivano la RSA esclusivamente dal segnale di variabilità cardiaca (HRV); essi sono il metodo di Porges e l’analisi autoregressiva (AR) monovariata. Invece, l’analisi AR bivariata, ossia il terzo degli algoritmi confrontati, valuta sia il segnale HRV che quello respiratorio per individuare, automaticamente, le interazioni cardiorespiratorie e restituire una stima della RSA personalizzata sulla base della frequenza respiratoria del singolo soggetto. Il confronto è stato condotto in una popolazione di bambini sani in età prescolare, i quali sono stati sottoposti ad un protocollo stressante ben validato. Ciò ha permesso di valutare le prestazioni dei tre metodi in un contesto più naturale, dato il comportamento più spontaneo che ci si potrebbe aspettare in un campione di bambini rispetto ad uno costituito esclusivamente da adulti. I risultati di questo studio forniscono indicazioni utili riguardo alla sensibilità delle diverse misure di RSA considerate e, in particolare, mostrano come il metodo bivariato AR, l’unico che prende in considerazione sia il segnale HRV che quello respiratorio, possa apportare significativi miglioramenti nell’identificazione delle situazioni di stress. Per esempio, la variazione percentuale media di RSA calcolata tra la Baseline (ossia, la fase meno stressante del protocollo sperimentale) e la Prima Separazione (la fase più stressante) differisce in modo statisticamente significativo tra i metodi confrontati (Porges: -17.5%; AR monovariato: -18.3%; AR bivariato: -23.7%) ed evidenzia una maggior sensibilità alle variazioni di stress dell’approccio AR bivariato. Ciò dimostra come i metodi bivariati possano restituire stime più accurate del livello di stress, soprattutto in contesti sperimentali più naturali, nei quali le variazioni di frequenza respiratoria durante l’esperimento sono più probabili. Inoltre, le simulazioni effettuate nel capitolo provano la robustezza dell’analisi AR bivariata nei confronti di alcuni artefatti e non idealità comunemente presenti nei segnali respiratori acquisiti. Viste le notevoli prestazioni dimostrate dal metodo AR bivariato nello studio in questione, si raccomanda, come sviluppo futuro, la validazione di tale metodo anche in condizioni sperimentali più simili a quelle della vita quotidiana. Nel quarto capitolo, vengono esplorate le variazioni di diversi indici HRV durante l’induzione del cosiddetto flow, vale a dire una condizione mentale e psicologica di elevata efficienza, connessa ad uno spiccato incremento di motivazione e perseveranza. Nello specifico, tale capitolo si pone l’obiettivo di identificare alcuni indici nel dominio del tempo, della frequenza e non lineari della HRV che siano rappresentativi di questo particolare stato cognitivo ed emotivo. Facilitare l’induzione del flow negli ambienti di lavoro, infatti, potrebbe accrescere la produttività e proteggere i lavoratori da “burnout” e stress lavorativo, ragioni che suscitano forte interesse nell’individuazione di features HRV che possano fungere da indicatori dell’intensità di flow percepito. Nello studio presentato in questo capitolo, il flow è stato indotto attraverso task aritmetici di difficoltà ottimale e i diversi indici HRV calcolati in questa condizione sono stati confrontati con quelli ottenuti durante task di difficoltà sub-ottimale (cioè, tramite calcoli matematici troppo semplici o troppo complessi). Le analisi condotte in questo studio rivelano diversi indici HRV che potrebbero essere più promettenti nella rilevazione del flow. Nello specifico, alcuni dei parametri non-lineari, cioè l’indice SD2 dei Poincaré plots e l’entropia approssimata (AppEn), mostrano variazioni statisticamente significative connesse al livello di flow percepito. Inoltre, le variazioni di AppEn individuate risultano indipendenti dal tempo, il che suggerisce che questo indice possa essere un indicatore di flow robusto soprattutto durante lunghe sessioni sperimentali. Questo particolare aspetto e, più in generale, l’efficacia dei diversi parametri non lineari della HRV nella rilevazione del flow, sono ad oggi poco indagati nella letteratura scientifica, il che sottolinea l’importanza di questo risultato. Per quanto concerne gli indici HRV nel dominio del tempo considerati, la media, la deviazione standard e lo scarto quadratico medio tra le differenze di intervalli RR consecutivi (RMSSD) sono risultati anch’essi capaci di distinguere il task matematico più semplice (condizione di “noia”) da quello a difficoltà ottimale (condizione di flow). Ciò nonostante, questi ultimi indici hanno dimostrato di variare significativamente con il tempo, il che scoraggia il loro uso in valutazioni di flow prolungate. In sintesi, sebbene diverse features non lineari non siano state considerate in questo studio, i risultati ottenuti apportano un contributo utile alla definizione di indicatori fisiologici sensibili alle variazioni di flow. In studi futuri, si suggerisce di verificare se modelli basati su combinazioni di features HRV, anziché su singoli indici, possano migliorare la detezione dell’esperienza del flow. Il quinto capitolo offre una valutazione di alcuni dispositivi indossabili attualmente disponibili sul mercato che potrebbero essere impiegati, in un futuro ormai prossimo, per il monitoraggio di stress ed emozioni. Questo capitolo si pone un duplice obiettivo. In primo luogo, viene effettuato il confronto tra gli indici HRV estratti da una maglietta (dotata di elettrodi per la rilevazione del segnale ECG) e da un braccialetto (dotato di sensore PPG) sensorizzati con quelli calcolati a partire da un ECG acquisito con strumentazione di laboratorio, preso come segnale di riferimento. In secondo luogo, dato che diversi braccialetti sensorizzati utilizzano sensori PPG a bassa frequenza di campionamento per misurare la variabilità cardiaca, in questo capitolo viene studiata l’efficacia, al variare della frequenza di campionamento, di varie tecniche di interpolazione del segnale PPG nel migliorare l’accuratezza degli indici HRV estratti. Per quanto concerne il primo obiettivo, i risultati dello studio evidenziano alcune limitazioni degli attuali braccialetti basati su PPG. Nello specifico, le analisi hanno confermato l’accuratezza delle misure di HRV effettuate dalla maglietta sensorizzata, che sono risultate molto simili a quelle calcolate a partire dal ECG di laboratorio. Al contrario, gli intervalli inter-battito (IBI) e gli indici HRV restituiti dal bracciale sono risultati significativamente diversi da quelli di riferimento. Come ci si aspettava, data la ridotta adesione del sensore PPG al polso in posizione eretta, le maggiori deviazioni dal segnale di riferimento sono state osservate nella fase di Stand del protocollo sperimentale adottato (soggetto fermo in piedi). In aggiunta, però, la percentuale di battiti non rilevati dal dispositivo è risultata piuttosto importante (maggiore o uguale al 16%) anche durante le altre fasi del protocollo, durante le quali i soggetti erano seduti e, pertanto, la distanza tra il sensore PPG e la pelle veniva ad essere minimizzata. Questi risultati sottolineano la necessità di migliorare l’ergonomia del braccialetto analizzato. In riferimento al secondo obiettivo menzionato, lo studio elucida ulteriormente l’efficacia dell’interpolazione spline e di quella parabolica nel migliorare l’accuratezza degli indici HRV estratti da segnali PPG campionati a bassa frequenza. Nello specifico, i risultati mostrano l’importanza di interpolare segnali PPG campionati a 32 Hz o a frequenze inferiori. Pertanto, questo studio fornisce informazioni importanti ai produttori di braccialetti sensorizzati basati su PPG, in quanto si dà un’indicazione della frequenza di campionamento al di sotto della quale il costo computazionale aggiuntivo richiesto dall’interpolazione risulta essere necessario per migliorare la stima della HRV. In sintesi, i risultati presentati in questa tesi di dottorato forniscono i seguenti contributi alla letteratura attuale. Essi mostrano il valore aggiunto di utilizzare strategie di modellazione mixed-effects nel riconoscimento delle emozioni basato su segnale EEG. Viene confermata la maggior affidabilità delle misure bivariate di RSA nel confronto con quelle monovariate e dimostrata la robustezza dell’analisi AR monovariata nei confronti di artefatti comunemente presenti nei segnali respiratori acquisiti. Vengono suggeriti diversi indici HRV, specialmente tra quelli non lineari, che mostrano elevata sensibilità alle variazioni di intensità del flow percepito. Vengono sottolineate alcune attuali limitazioni all’uso del segnale PPG nell’analisi della HRV; infine, viene provata l’efficacia di diverse strategie di interpolazione nel compensare l’errore di discretizzazione introdotto dall’uso di basse frequenze di campionamento nell’acquisizione del segnale PPG.