A Multi-layer approach to human factors monitoring for human-robot interaction

Traditionally industries, specifically workstations, have been structured with clearly defined roles and procedures, rigid hierarchies, and standardised ways of doing things. However, recent years have seen a shift towards more fluid and dynamic industrial systems that allow for greater flexibility and creativity. This shift has been driven by technology, which has disrupted many enterprises and created new opportunities for innovation and experimentation. In particular robots and automation solutions are entitled to exit their traditional cages populating the industrial floors communicating together and cooperating with humans to assist, support and collaborate with them in their daily duties. On the other hand, unstructured environments may expose workers to a plenty of physical risk factors. The latter may result in work related musculoskeletal disorders (WMSDs) which are impairments of the human body structures and represent the leading cause of disability in many world region, with substantial economic costs and a severe impact on quality of life. Nevertheless, in the industrial scenarios described before, featured by frequently varying workflows and unstructured workstations, the traditional view of occupational ergonomics is rather weak or barely applicable. On the contrary laboratory-based approaches proposed by researchers are often unenforceable in realistic scenarios since they rely on hardware that doesn't comply with the requirements of industrial settings. This thesis stems from the awareness that there is an imbalanced research thrust between robotics and human monitoring and wellbeing in industry. The aforementioned industrial revolution will only happen if researchers find a way to integrate efficient human monitoring and assessment into the process. The problem as it is presented is multi-layer and deserves a multi-layer solution addressing topics from human-tracking to ergonomics. Accordingly, the scientific objective of this thesis is to fill this gap, by introducing a novel framework for the evaluation and improvement of human monitoring, which implements online, personalisable, and reconfigurable strategies to account for workers’ ergonomic requirements. Secondary, just as important, if not more, the author's efforts focused on addressing the challenges that sensory systems, meant to collect human-related quantities, may pose in industry. Given these objectives it's belief of the author that simulation can complement human monitoring designing and testing of monitoring algorithms and sensory systems design. Simulation indeed provides a safe and controlled environment for robots to interact with humans, allowing researchers and designers to test different scenarios and evaluate the effectiveness of different control algorithms and sensor systems without the risk of harm or damage to property and people. This dissertation consists of a compendium of publications comprising as main body of previously published scientific articles. The baseline of this research is composed by a total of four papers published in prestigious peer reviewed scientific journals and international robotics conferences. Chapter 1 of the document encompasses an introductory section that presents the current state of the art in the subject matter. The challenges aforementioned are addressed in chapters 2 and 3. The proposed human ergonomics monitoring system will be addressed specifically in Chapter 2. Specifically a method for real-time identification of a simplified personalisable set of body segment inertial parameters and a tool for real-time tracking of whole-body compressive forces induced by external physical solicitations. Chapter 3 focuses on the development of a markerless motion capture solution validated and developed using a simulation toolbox called Open-VICO whose realisation is also material of this thesis. In Chapter 4, the document reaches its conclusion, presenting a comprehensive summary of the findings as well as insightful considerations for future perspectives.

Tradizionalmente le industrie, in particolare le postazioni di lavoro, sono state strutturate con ruoli e procedure chiaramente definiti, gerarchie rigide e modi standardizzati di fare le cose. Tuttavia, negli ultimi anni si è assistito a un cambiamento verso sistemi industriali più fluidi e dinamici che consentono una maggiore flessibilità e creatività. Questo cambiamento è stato permesso dalla tecnologia, che ha creato nuove opportunità per l'innovazione e la sperimentazione. In particolare, i robot e le soluzioni di automazione hanno cominciato a uscire dalle loro tradizionali gabbie popolando gli impianti industriali, comunicando tra loro e collaborando con gli esseri umani per assistere, supportare e collaborare con loro nei loro compiti quotidiani. D'altro canto gli ambienti non strutturati possono esporre i lavoratori a molti fattori di rischio fisico. Questi possono comportare disturbi muscolo-scheletrici correlati al lavoro (WMSD), che sono lesioni delle strutture del corpo umano e rappresentano la causa principale di disabilità in molte regioni del mondo, con notevoli costi economici e un grave impatto sulla qualità della vita. Tuttavia, negli scenari industriali descritti in precedenza, caratterizzati da flussi di lavoro frequentemente variabili e postazioni di lavoro non strutturate, la visione tradizionale dell'ergonomia occupazionale è piuttosto debole o appena applicabile. Al contrario, gli approcci basati solitamente usati in laboratorio proposti dai ricercatori sono spesso inapplicabili in scenari realistici poiché si basano su hardware che non soddisfa i requisiti industriali. Questa tesi è motivata dalla consapevolezza dell'esistenza di un disequilibrio nella ricerca tra robotica e monitoraggio del benessere umano nell'ambito industriale. La cosiddetta rivoluzione industriale avverrà solo se i ricercatori troveranno un modo per integrare un efficiente monitoraggio e valutazione umana nel processo. Il problema presentato è complesso e richiede una soluzione multilivello che comprenda diversi aspetti, dalla monitoraggio umano all'ergonomia, per affrontare in modo completo la questione. Di conseguenza, l'obiettivo scientifico di questa tesi è colmare questa lacuna, introducendo un nuovo quadro per la valutazione e il miglioramento del monitoraggio umano, che implementa strategie online, personalizzabili e riconfigurabili per tenere conto delle esigenze ergonomiche dei lavoratori. In secondo luogo, altrettanto importante, se non di più, gli sforzi dell'autore si sono concentrati sull’affrontare le sfide che i sistemi sensoriali, destinati a raccogliere quantità relative all'essere umano, possono presentare nell'industria. Date queste finalità, l'autore ritiene che la simulazione possa integrare il monitoraggio umano nel design e nel test degli algoritmi di monitoraggio e nel design dei sistemi sensoriali. La simulazione infatti fornisce un ambiente sicuro e controllato in cui i robot possono interagire con gli esseri umani, consentendo a ricercatori e progettisti di testare diversi scenari e valutare l'efficacia di diversi algoritmi di controllo e sistemi sensoriali senza il rischio di danni alle persone o alle proprietà. Questa tesi consiste in un compendio di pubblicazioni che comprendono come corpo principale articoli scientifici già pubblicati. La base di questa ricerca è composta da un totale di quattro articoli pubblicati in prestigiosi giornali scientifici sottoposti a peer review e conferenze internazionali sulla robotica. Il Capitolo 1 del manoscritto comprende una sezione introduttiva che presenta lo stato attuale dell'arte. Le sfide sopra menzionate sono affrontate nei capitoli 2 e 3. Il sistema proposto per il monitoraggio ergonomico umano sarà affrontato specificamente nel Capitolo 2. In particolare, viene presentato un metodo per l'identificazione in tempo reale di un insieme semplificato e personalizzabile di parametri inerziali del corpo umano e uno strumento per il tracciamento in tempo reale delle forze di compressione dell'intero corpo indotte da sollecitazioni fisiche esterne. Il Capitolo 3 si concentra sullo sviluppo di una soluzione di cattura del movimento senza marcatori, validata e sviluppata utilizzando uno strumento di simulazione chiamato Open-VICO, la cui realizzazione è anche oggetto di questa tesi. Nel Capitolo 4, il documento raggiunge la sua conclusione, presentando un riassunto completo delle scoperte, nonché considerazioni interessanti per prospettive future.