A hybrid visual-semantic pipeline for incremental open-set tool recognition in industrial human-robot collaboration

In Human-Robot Collaboration (HRC) within Industry 4.0, robots must interpret the operator’s intentions reliably and with low latency, even as tools, workpieces, and visual conditions evolve over time. Although supervised Human Activity Recognition (HAR) can achieve high accuracy given representative labeled data, its applicability in real workcells is limited by the cost of re-annotating and retraining whenever the operational taxonomy changes. This addresses these limitations with an incremental open-set tool-recognition pipeline, used as a pragmatic proxy for operation inference, designed to grow its internal knowledge online without retraining under the realistic requirements of collaborative workcells. The proposed approach uses the Siamese Network of the baseline framework for lightweight few-shot recognition as a frozen feature extractor for pre-processed tool images. On top of these representations, the pipeline supports open-set incremental updates: each new observation can be assigned to an existing class or trigger the creation of a new group, enabling dataset expansion over time. Two complementary strategies are analyzed: a distance-thresholded incremental rule and a streaming density-based alternative based on DynamicDBSCAN. To increase decision reliability and improve interpretability as the tool set expands, a vision-language model is introduced as a lightweight semantic safeguard. CLIP is used both to prevent visually plausible but semantically inconsistent assignments and to perform controlled relabeling that aggregates newly created anonymous classes into coherent tool families when evidence is strong. The resulting hybrid pipeline is validated through controlled experiments and laboratory-oriented runs, with a focus on incremental behavior, open-set conditions, and robustness to stream order.

La Human-Robot Collaboration (HRC) nell'ambito Industry 4.0 richiede che i robot interpretino in modo affidabile e con bassa latenza l'intenzione dell’operatore, anche quando utensili, pezzi e condizioni visive cambiano nel tempo. Sebbene i metodi supervisionati di Human Activity Recognition (HAR) possano raggiungere elevata accuratezza disponendo di dati etichettati rappresentativi, la loro applicazione in celle collaborative reali è limitata dai costi di riacquisizione, riannotazione e riaddestramento ogni volta che la tassonomia operativa viene aggiornata. Questa tesi affronta tali requisiti proponendo una pipeline incrementale in open-set per il riconoscimento degli utensili, impiegata come strumento per inferire l’operazione in corso, e progettata per espandere online la propria conoscenza senza retraining, nel rispetto di vincoli realistici di una postazione collaborativa. L’approccio utilizza la rete Siamese del framework di partenza di few-shot recognition come estrattore di feature congelato, applicato a immagini degli utensili preventivamente pre-processate. A partire da queste rappresentazioni, la pipeline abilita aggiornamenti incrementali in open-set: ogni nuova osservazione può essere assegnata a una classe esistente oppure innescare la creazione di una nuova classe, consentendo l’espansione progressiva del dataset nel tempo. Vengono analizzate due strategie complementari: una regola incrementale basata su soglia di distanza e un’alternativa density-based fondata su un algoritmo di clustering incrementale, DynamicDBSCAN. Per aumentare l’affidabilità delle decisioni e migliorare l’interpretabilità delle classi man mano che l’insieme di utensili cresce, viene inoltre introdotto un modello vision-language come salvaguardia semantica. CLIP è impiegato sia per impedire assegnazioni visivamente plausibili ma semanticamente incoerenti, sia per fornire autonomamente un'etichetta alle nuove classi anonime aggregandole a famiglie di utensili coerenti quando l’evidenza è sufficiente. La pipeline ibrida risultante è validata tramite esperimenti controllati e prove in laboratorio, con attenzione al comportamento incrementale, alle condizioni open-set e alla robustezza rispetto all’ordine dello stream.