Innovative models for cognitive load assessment and mitigation through personalised robot intervention

The advent of Industry 4.0 has revolutionised ordinary workplaces, profoundly reshaping the role of the workers in the production chain and resulting in new occupational safety and health challenges. Research on ergonomics in industrial settings mainly focuses on reducing the operator's physical fatigue to improve throughput and avoid safety hazards. However, as the production complexity increases, even the cognitive resources demand and induced psycho-physical stress could compromise the operator's performance and the efficiency of the shop floor workplace. The escalating global prevalence of work-related Common Mental Disorders (CMDs) underscores the urgency of addressing this issue. However, state-of-the-art methods for estimating cognitive load often operate offline and involve unwieldy equipment, disrupting the natural flow of work activities and rendering them impractical for deployment in industrial settings. Furthermore, complex laboratory-based approaches tend to lack personalisation and overlook the interconnections among various human and environmental factors, as well as subject-specific attitudes and perceptions of other elements within the system. The scientific objective of this thesis is to rethink cognitive ergonomics in industrial settings by exploiting artificial intelligence techniques and collaborative robotics to anticipate and mitigate excessive mental demands and acute stress. Specifically, the idea of comprehending human cognitive load through mind-induced motor behaviour (i.e. body-language cues such as hyperactivity and attention diversion) is introduced and online, personalisable assessment methods grounded in mind-body connection theory are pioneered. By integrating this valuable data about human workers in the control loop, Collaborative Robots (CoBots) gain the ability to adapt, learn and provide personalised and contextually relevant support, addressing human distress and individual needs. CoBots, equipped with reduced-complexity models of the human psycho-physical state derived from practical sensor data and adaptive motion planning, form the cornerstone for a comprehensive understanding and optimisation of hybrid environments. In this direction, the thesis introduces a first approach that integrates physical, cognitive, and robot-related factors within a unified learning-based framework, mirroring human behaviour in social contexts. This multi-dimensional perspective not only mitigates ergonomic risks but also has the potential to significantly improve overall workplace efficiency and productivity. The first part of the thesis focuses on defining and detecting mind-induced motor behaviour. Monitoring workers' head pose and upper-body kinematics with suitable external sensors such as cameras allows to estimate their attention distribution and detect hyperactivity and other body-language cues. The integration of these aspects enables the development of the cognitive load assessment system, a personalisable model for online estimation of individuals' exposure to work-related stress and mental effort during occupational activities, accounting for multiple ergonomic risk factors. Next, the study delves into variables arising from the interaction between humans and robots in shared environments, exploring intuitive inputs and practical visual feedback interfaces that offer warnings about excessive cognitive exposure or provide updates on the CoBot state and the task progress. The assessment system is here extended to include factors reflecting humans' lack of confidence and trust in the robotic partner, inspired by research on gaze tracking and interpretation. Human awareness of the CoBot motion is also estimated by monitoring the attention level toward a moving area around the robot end-effector. Additionally, assessing synchronisation with the CoBot movements provides insights into the planning required by the human in conjoint actions. This thorough analysis contributes to a deeper understanding of how cognitive load evolves during interactions. The central part of the thesis is dedicated to developing ergonomic Human-Robot Collaboration (eHRC) strategies aimed at mitigating potential mental health risks in the workplace. It proposes the adaptation of the proximity level and reactive behaviour of the CoBot based on accurate perception and monitoring of human attention and psycho-physical state. Exploiting estimated human awareness and mental effort, the CoBot adapts its path on the fly to ensure safety zones around the human, considering both physical aspects like collision prevention and socio-cognitive factors such as enhancing perceived safety. This is achieved while maintaining the continuity and smoothness of the planned trajectory through astute exploitation of the intrinsic properties of B-spline curves. Moreover, the implementation of a multi-objective optimisation problem and a human-aware decision-making method is proposed to optimise the total execution time and smoothness of the CoBot trajectory, ultimately maximising productivity without perilously increasing workers' psycho-physical stress. Lastly, the thesis presents a pioneering approach towards a more comprehensive and unified framework, considering human cognitive comfort, physical ergonomics, and internal robot costs. This introduces a paradigm shift in human-robot interactions, enabling CoBots to make coefficient decisions, i.e. maximise the human partner's benefits while being sensitive to their own expenses, mirroring human behaviour in social contexts. The concept of coefficiency is inspired by neuroscientific and experimental psychology studies and conceived through a multi-disciplinary exploration of human-robot interactions. Human-robot coefficiency is modelled by online capturing cues pertaining to both human and CoBot needs and employed as the reward of a reinforcement learning problem to shape the CoBot behaviour. Results of multi-subject experiments and extensive statistical analysis on both qualitative and quantitative data suggest that the system, based on mind-body connection theory, provides effective assessments of cognitive ergonomics in occupational settings, and its integration in the CoBot control loop shows promise for achieving trustworthy and empowered collaboration.

L'avvento dell'Industria 4.0 ha rivoluzionato i tradizionali luoghi di lavoro, rimodellando profondamente il ruolo dei lavoratori nella catena di produzione e determinando nuove sfide per la salute e la sicurezza sul lavoro. La ricerca sull'ergonomia in ambito industriale si concentra principalmente sulla riduzione dell'affaticamento fisico dell'operatore per migliorare la produttività ed evitare rischi per la sicurezza. Tuttavia, con l'aumento della complessità della produzione, anche la richiesta di risorse cognitive e lo stress psico-fisico indotto potrebbero compromettere le prestazioni dell'operatore e l'efficienza del luogo di lavoro. L'aumento della prevalenza globale dei disturbi mentali comuni legati al lavoro sottolinea l'urgenza di affrontare questo problema. Tuttavia, i metodi più avanzati per stimare il carico cognitivo spesso operano offline e coinvolgono apparecchiature ingombranti, interrompendo il flusso naturale delle attività lavorative e rendendoli inadatti all'impiego in ambienti industriali. Inoltre, gli approcci complessi usati il laboratorio tendono a trascurare aspetti quali la personalizzazione e le interconnessioni tra i vari fattori umani e ambientali, nonché gli atteggiamenti specifici del soggetto e la percezione degli altri elementi del sistema. L'obiettivo scientifico di questa tesi è ripensare l'ergonomia cognitiva in ambito industriale sfruttando tecniche di intelligenza artificiale e robotica collaborativa per anticipare e mitigare richieste mentali eccessive e stress acuto. In particolare, viene introdotta l'idea di comprendere il carico cognitivo umano attraverso i comportamenti motori indotti dalla mente (cioè i segnali del linguaggio del corpo che si manifestano in risposta a sfide cognitive e fattori di stress, come l'iperattività e la distrazione dell'attenzione) e vengono sperimentati metodi di valutazione online e personalizzabili basati sulla teoria della connessione mente-corpo. Integrando queste preziose informazioni dei lavoratori nel ciclo di controllo, i robot collaborativi (CoBot) acquisiscono la capacità di adattarsi, apprendere e fornire un supporto personalizzato e contestualmente appropriato, affrontando angoscia ed esigenze individuali. I CoBot, dotati di modelli a complessità ridotta dello stato psico-fisico umano derivati da dati di sensori pratici e di una pianificazione adattiva del movimento, costituiscono la pietra angolare per una comprensione e un'ottimizzazione completa degli ambienti ibridi. In questa direzione, la tesi introduce un primo approccio che integra fattori fisici, cognitivi e del robot in un sistema unificato basato sull'apprendimento, rispecchiando il comportamento umano in contesti sociali. Questa prospettiva multidimensionale non solo mitiga i rischi ergonomici, ma ha anche il potenziale di migliorare significativamente l'efficienza e la produttività complessiva del posto di lavoro. La prima parte della tesi si concentra sulla definizione e sul rilevamento dei comportamenti motori indotti dalla mente. Il monitoraggio della posa della testa e della cinematica della parte superiore del corpo dei lavoratori con opportuni sensori esterni, come le telecamere, consente di stimare la distribuzione dell'attenzione e di rilevare l'iperattività e altri segnali del linguaggio del corpo. L'integrazione di tali aspetti permette l'implementazione di un sistema personalizzabile per la stima online dell'esposizione degli individui allo stress e allo sforzo mentale durante le attività lavorative, tenendo conto di molteplici fattori di rischio ergonomico. Successivamente, lo studio approfondisce le variabili derivanti dall'interazione tra esseri umani e robot in ambienti condivisi, esplorando input intuitivi e pratiche interfacce di feedback visivo che offrono avvertimenti dell'eccessiva esposizione a fattori cogniti o forniscono aggiornamenti sullo stato del CoBot e sull'avanzamento del compito. Il sistema di valutazione viene qui esteso per includere fattori che riflettono la mancanza di fiducia dell'uomo nel partner robotico, ispirandosi alla ricerca sul tracciamento e l'interpretazione dello sguardo. La consapevolezza umana del movimento del CoBot viene stimata monitorando il livello di attenzione verso un'area in movimento intorno all'end-effector del robot. Inoltre, la valutazione della sincronizzazione con i movimenti del CoBot fornisce indicazioni sulla pianificazione richiesta dall'uomo nelle azioni congiunte. Questa analisi approfondita contribuisce a comprendere meglio come il carico cognitivo evolve durante le interazioni. La parte centrale della tesi è dedicata allo sviluppo di strategie ergonomiche di collaborazione uomo-robot (eHRC) volte a mitigare i potenziali rischi per la salute mentale sul posto di lavoro. Propone l'adattamento del livello di prossimità e del comportamento reattivo del CoBot sulla base di un'accurata percezione e il monitoraggio dell'attenzione umana e dello stato psico-fisico. Sfruttando la stima della consapevolezza e dello sforzo mentale dell'uomo, il CoBot adatta il suo percorso in tempo reale per garantire zone di sicurezza intorno all'utente, considerando sia aspetti fisici come la prevenzione delle collisioni, sia fattori socio-cognitivi come il miglioramento della percezione di sicurezza. Questo risultato è ottenuto mantenendo la continuità e la fluidità della traiettoria pianificata attraverso un perspicace sfruttamento delle proprietà intrinseche delle curve B-spline. Inoltre, viene proposta l'implementazione di un problema di ottimizzazione multi-obiettivo e di un metodo decisionale human-aware per ottimizzare il tempo totale di esecuzione e la fluidità della traiettoria del CoBot, massimizzando in ultima analisi la produttività senza aumentare pericolosamente lo stress psico-fisico dei lavoratori. Infine, la tesi presenta un approccio pionieristico verso un sistema più completo e unificato, che considera il comfort cognitivo umano, l'ergonomia fisica e i costi interni del robot. Questo introduce un cambiamento di paradigma nelle interazioni uomo-robot, consentendo ai CoBot di prendere decisioni di co-efficienza, cioè di massimizzare i benefici del lavoratore pur essendo sensibili ai propri costi, rispecchiando il comportamento umano nei contesti sociali. Il concetto di co-efficienza si ispira a studi neuroscientifici e di psicologia sperimentale e viene concepito attraverso un'esplorazione multidisciplinare delle interazioni uomo-robot. La co-efficienza uomo-robot è modellata attraverso la cattura online di fattori relativi alle esigenze umane e del CoBot e impiegata come ricompensa di un problema di apprendimento per rinforzo per modellare il comportamento del CoBot. I risultati di esperimenti su più soggetti e un'ampia analisi statistica di dati qualitativi e quantitativi suggeriscono che il sistema, basato sulla teoria delle connessioni mente-corpo, fornisce valutazioni efficaci dell'ergonomia cognitiva in ambito lavorativo e la sua integrazione nel ciclo di controllo del CoBot è promettente per ottenere una collaborazione affidabile e potenziata.