Cognitive symbiosis in human-robot collaboration: integrating visual intelligence, dynamic ergonomics, and adaptive decision-making for industry 5.0

This doctoral dissertation proposes a unified framework for human-robot collaboration (HRC) in industrial-like environments that jointly addresses advanced computer vision, real-time ergonomic monitoring, and adaptive decision-making. Rather than treating safety, ergonomics, and productivity as separate design problems, the framework aims to balance operator well-being, operational efficiency, and robustness to environmental variability within a single human-centred architecture aligned with the Industry 5.0 vision. The research is articulated along four complementary directions. (1) A computational paradigm is developed to extract dynamic manipulative capabilities and Configuration-Dependent Stiffness (CDS) from uninstrumented RGB-D demonstration videos, reducing reliance on invasive and costly sensing. (2) HRI30 is created and validated as a domain-specific dataset for action recognition in collaborative manufacturing, comprising 30 industrial action classes and 2,940 annotated video sequences. (3) Advanced visual perception pipelines are designed for industrial action recognition, grasp-intention estimation, and surface classification, providing a semantic and kinematic description of human activity. (4) A parametric Behavior-Tree-based decision system is formulated that couples perception and ergonomics to enable contextual and ergonomically informed role allocation between human and robot. Extensive experimental validation in multiple collaborative scenarios shows that the framework can operate in real time. The YOLO11x-seg model achieves a mAP@50 of 77.8% and a mAP@50:95 of 72.4% for parcel and hand detection. Grasp intention is recognised with 92.5% accuracy, and the SlowOnly network attains 95.83% accuracy on the three-class parcel-handling task. OWAS-based ergonomic classification runs at approximately 15Hz, supporting an end-to-end ergonomic intervention latency of about 0.45s and a decision-layer response time of 0.07s for critical conditions. Results from ergonomics-aware control further suggest that ergonomic risk can be reduced without compromising the execution of the tested tasks, mitigating the traditionally assumed trade-off between safety and productivity. Overall, the dissertation contributes to a human-centred view of collaborative robotics in which systems estimate operators’ intentions, anticipate ergonomically critical situations, and adapt their behaviour to task and environmental variations, laying the groundwork for safer, more ergonomic, and efficient production ecosystems.

Questa tesi di dottorato propone un framework unificato per la collaborazione uomo-robot (HRC) in ambienti industriali complessi che integra congiuntamente tecniche avanzate di visione artificiale, monitoraggio ergonomico in tempo reale e processi decisionali adattativi. Invece di trattare sicurezza, ergonomia e produttività come problemi progettuali separati, il framework mira a bilanciare benessere dell’operatore, efficienza operativa e robustezza rispetto alle variazioni ambientali all’interno di un’unica architettura umano-centrica, in linea con la visione di Industry 5.0. La ricerca è articolata lungo quattro direzioni complementari. (1) Viene sviluppato un paradigma computazionale per l’estrazione delle capacità manipolative dinamiche e della Configuration-Dependent Stiffness (CDS) a partire da video RGB-D non strumentati di dimostrazioni umane, riducendo la dipendenza da sensori invasivi e costosi. (2) Viene creato e validato HRI30, un dataset specifico di dominio per il riconoscimento di azioni in contesti di manifattura collaborativa, composto da 30 classi di azioni industriali e 2,940 sequenze video annotate. (3) Sono progettate pipeline di percezione visiva avanzata per il riconoscimento di azioni industriali, la stima dell’intenzione di presa e la classificazione delle superfici, fornendo una descrizione semantica e cinematica dell’attività umana. (4) Viene formulato un sistema decisionale parametrico basato su Behavior Trees (BT) che collega percezione ed ergonomia per abilitare un’allocazione dei ruoli contestuale e informata dal rischio ergonomico tra umano e robot. Un’ampia validazione sperimentale in diversi scenari collaborativi mostra che il framework può operare in tempo reale. Il modello YOLO11x-seg raggiunge una mAP@50 pari al 77.8% e una mAP@50:95 pari al 72.4% nel rilevamento di colli di presa e mani. L’intenzione di presa viene riconosciuta con un’accuratezza del 92.5%, mentre la rete SlowOnly ottiene un’accuratezza del 95.83% nel task di manipolazione collaborativa di colli a tre classi. La classificazione ergonomica basata su OWAS opera a circa 15 Hz, supportando una latenza di intervento ergonomico end-to-end di circa 0.45s e un tempo di risposta del livello decisionale di 0.07s in condizioni critiche. I risultati ottenuti con il controllo ergonomicamente consapevole suggeriscono inoltre che il rischio ergonomico può essere ridotto senza compromettere l’esecuzione dei compiti considerati, mitigando il tradizionale trade-off tra sicurezza e produttività. Nel complesso, la tesi contribuisce a una visione umano-centrica della robotica collaborativa, in cui i sistemi stimano le intenzioni degli operatori, anticipano situazioni ergonomicamente critiche e adattano il proprio comportamento alle variazioni di compito e di ambiente, ponendo le basi per ecosistemi produttivi più sicuri, ergonomici ed efficienti.