Automated monitoring of human-operated manufacturing processes using computer vision and artificial intelligence

The variability and complexity of human-operated manufacturing processes present significant challenges to efficiency, consistency, and safety in modern industrial environments. This research addresses these challenges by developing innovative methodologies for the automated monitoring of manual processes, leveraging computer vision and artificial intelligence techniques. Central to this work is the development of two complementary approaches for system modeling and activity recognition: a deterministic method based on Statecharts and a stochastic method utilizing Hidden Markov Models (HMMs). The Statechart-based approach offers a detailed and explicit representation of the entire system and its states, effectively capturing the sequential and hierarchical structure of manual tasks. In contrast, the HMM approach provides robustness under suboptimal industrial conditions, such as occlusions, partial observations, and noisy data, enabling reliable monitoring in real-world industrial scenarios. These methods allow for real-time recognition of worker activities, detection of process milestones, identification of deviations, and inference of task durations and errors, even in highly variable environments. The proposed framework integrates Pose Estimation, Object Detection, and statistical modeling to infer complex interactions between workers and their environment. Validation through empirical evaluations and a real-world case study in manual assembly demonstrates the effectiveness of the proposed approaches. Finally, a case study on human worker localization for safety and hazardous situation detection is presented and validated in a real-world industrial environment. This work advances the capabilities of human-operated process monitoring and lays the foundation for integrating these insights into Digital Twins and smart manufacturing systems.

La variabilità e la complessità dei processi produttivi manuali costituiscono sfide significative per l’efficienza, la qualità e la sicurezza negli ambienti industriali moderni. Questa ricerca affronta tali sfide sviluppando metodologie innovative per il monitoraggio automatizzato dei processi manuali, sfruttando tecniche di Computer Vision e Intelligenza Artificiale. Al centro di questo lavoro vi è lo sviluppo di due approcci complementari per la modellazione dei sistemi e il riconoscimento delle attività: un metodo deterministico basato su Statecharts e un metodo stocastico che impiega Hidden Markov Models (HMM). L'approccio basato su Statechart offre una rappresentazione dettagliata ed esplicita dell'intero sistema e dei suoi stati, in grado di catturare la struttura sequenziale e gerarchica delle attività manuali. Al contrario, l'approccio HMM garantisce robustezza in condizioni industriali subottimali, come occlusioni, osservazioni parziali e dati rumorosi, consentendo un monitoraggio affidabile anche in scenari industriali reali. Questi metodi consentono il riconoscimento in tempo reale delle attività dei lavoratori, la rilevazione delle fasi del processo, l’identificazione delle deviazioni e l’inferenza sulla durata delle attività e degli errori, anche in ambienti caratterizzati da elevata variabilità. Il quadro proposto integra tecniche di Pose Estimation, Object Detection e modellazione statistica per dedurre le interazioni complesse tra i lavoratori e il loro ambiente. La validazione, attraverso valutazioni empiriche e uno studio di caso reale in un processo di assemblaggio manuale, dimostra l'efficacia degli approcci proposti. Infine, viene presentato e validato un caso studio sulla localizzazione dei lavoratori per la sicurezza e la rilevazione di situazioni pericolose in un contesto industriale reale. Questo lavoro avanza le capacità di monitoraggio dei processi manuali e pone le basi per l'integrazione di tali risultati nei Digital Twin e nei sistemi di produzione intelligente.