The development of control systems for industrial and collaborative robots is increasingly oriented toward solutions that can provide manipulators with higher levels of autonomy, while reducing the need for human intervention. In this context, control techniques based on artificial vision and on the integration of information provided by optical sensors represent one of the most relevant areas of research, as they enable robots to perceive their surrounding environment and adapt their behavior according to what is happening around them. In this context, the present thesis investigates and develops tracking solutions specifically designed for different visual-servoing architectures, taking into account the accuracy, robustness, and responsiveness requirements associated with tracking systems for space robotics as their intended application perspective. The primary objective is to estimate the velocity of the target in order to isolate and compensate for its contribution to the relative motion between the camera and the target. This allows the control loop to focus exclusively on reducing the error with respect to the desired configuration, effectively treating the target as static and thereby improving tracking accuracy. In the first phase of the work, a qualitative analysis was conducted of several estimation solutions for the Eye-to-Hand configuration within a hybrid dual-camera visual-servoing architecture, consisting of one camera mounted on the manipulator and a second external camera employed for target tracking. Although the developed adaptive and estimator-fusion strategies improve the performance of the individual filters, the simulation results highlighted limitations related to measurement quality and possible occlusions of the external camera. These critical issues motivated the adoption of a purely Eye-in-Hand configuration, characterized by greater proximity between the sensor and the target and reduced exposure to occlusions caused by the manipulator. Within this configuration, three state-estimation solutions were developed, each designed on the basis of the visual-error evolution law adopted by the specific control architecture in which it is integrated. The camera twist, provided by the robotic system, is also employed as a known input to the process model. The three formulations considered correspond to Position-Based Visual Servoing (PBVS), operating in Cartesian space; Image-Based Visual Servoing (IBVS), based on features defined in the image plane; and 2.5D visual servoing, which adopts a hybrid representation with respect to the two previous formulations. The developed solutions were integrated into the corresponding control loops and evaluated through simulation and laboratory experiments involving a moving target. The results show that the integration of the estimation module improves the tracking capability of the manipulator, reduces error oscillations, and enables the system to operate with targets moving at higher velocities.

Lo sviluppo dei sistemi di controllo per robot industriali e collaborativi è orientato verso soluzioni in grado di garantire ai manipolatori un livello di autonomia sempre maggiore, riducendo la necessità dell’intervento umano. In questo contesto, le tecniche di controllo basate sulla visione artificiale e sull’integrazione delle informazioni fornite da sensori ottici rappresentano uno degli ambiti di ricerca di maggiore interesse, poiché consentono ai robot di percepire l’ambiente circostante e di adattare il proprio comportamento sulla base di ciò che avviene attorno ad essi. In questo contesto, la presente tesi analizza e sviluppa soluzioni di tracking specificamente progettate per diverse architetture di visual servoing, considerando i requisiti di accuratezza, robustezza e reattività propri delle applicazioni robotiche, con particolare riferimento al settore spaziale. L'obiettivo principale è ricostruire la velocità del target considerato in modo da isolare il suo contributo all'interno del moto relativo tra camera e target e compensarlo, cosicchè l'anello di controllo si possa dedicare alla sola riduzione dell’errore rispetto alla configurazione desiderata, trattando il target come se fosse statico e migliorando così l’accuratezza dell’inseguimento. In una prima fase è stata condotta un’analisi qualitativa di diverse soluzioni di stima relative alla configurazione Eye-to-Hand, nell’ambito di un’architettura ibrida di visual servoing a doppia camera: una camera montata sul manipolatore e una seconda camera esterna, impiegata per il tracking del target. Sebbene le strategie adattive e di fusione tra stimatori sviluppate migliorino le prestazioni dei singoli filtri, i risultati in simulazione hanno evidenziato limitazioni legate alla qualità delle misure e alle possibili occlusioni della camera esterna. Tali criticità hanno motivato l’adozione di una configurazione puramente Eye-in-Hand, caratterizzata da una maggiore prossimità tra sensore e target e da una minore esposizione alle occlusioni causate dal manipolatore. In questa configurazione sono state sviluppate tre soluzioni di stima dello stato, ciascuna progettata a partire dalla legge di evoluzione dell’errore visivo adottata dalla specifica architettura di controllo in cui è integrata e utilizzando il twist della camera, fornito dal sistema robotico, come ingresso noto del modello di processo. Le tre formulazioni considerate corrispondono al Position-Based Visual Servoing (PBVS), operante nello spazio cartesiano, all’Image-Based Visual Servoing (IBVS), basato su feature definite nel piano immagine, e al visual servoing 2.5D, che adotta una rappresentazione ibrida rispetto alle due formulazioni precedenti. Le soluzioni sviluppate sono state integrate nei rispettivi anelli di controllo e valutate attraverso esperimenti in simulazione e in laboratorio con target in movimento. I risultati mostrano che l’integrazione del modulo di stima consente di migliorare la capacità di inseguimento del manipolatore, riducendo le oscillazioni dell’errore e permettendo di operare con target caratterizzati da velocità maggiori.

Comparative analysis of eye-in-hand and eye-to-hand motion estimation techniques for dynamic target tracking in robotic visual servoing

Ben Othman, Ibrahim
2025/2026

Abstract

The development of control systems for industrial and collaborative robots is increasingly oriented toward solutions that can provide manipulators with higher levels of autonomy, while reducing the need for human intervention. In this context, control techniques based on artificial vision and on the integration of information provided by optical sensors represent one of the most relevant areas of research, as they enable robots to perceive their surrounding environment and adapt their behavior according to what is happening around them. In this context, the present thesis investigates and develops tracking solutions specifically designed for different visual-servoing architectures, taking into account the accuracy, robustness, and responsiveness requirements associated with tracking systems for space robotics as their intended application perspective. The primary objective is to estimate the velocity of the target in order to isolate and compensate for its contribution to the relative motion between the camera and the target. This allows the control loop to focus exclusively on reducing the error with respect to the desired configuration, effectively treating the target as static and thereby improving tracking accuracy. In the first phase of the work, a qualitative analysis was conducted of several estimation solutions for the Eye-to-Hand configuration within a hybrid dual-camera visual-servoing architecture, consisting of one camera mounted on the manipulator and a second external camera employed for target tracking. Although the developed adaptive and estimator-fusion strategies improve the performance of the individual filters, the simulation results highlighted limitations related to measurement quality and possible occlusions of the external camera. These critical issues motivated the adoption of a purely Eye-in-Hand configuration, characterized by greater proximity between the sensor and the target and reduced exposure to occlusions caused by the manipulator. Within this configuration, three state-estimation solutions were developed, each designed on the basis of the visual-error evolution law adopted by the specific control architecture in which it is integrated. The camera twist, provided by the robotic system, is also employed as a known input to the process model. The three formulations considered correspond to Position-Based Visual Servoing (PBVS), operating in Cartesian space; Image-Based Visual Servoing (IBVS), based on features defined in the image plane; and 2.5D visual servoing, which adopts a hybrid representation with respect to the two previous formulations. The developed solutions were integrated into the corresponding control loops and evaluated through simulation and laboratory experiments involving a moving target. The results show that the integration of the estimation module improves the tracking capability of the manipulator, reduces error oscillations, and enables the system to operate with targets moving at higher velocities.
ING - Scuola di Ingegneria Industriale e dell'Informazione
22-lug-2026
2025/2026
Lo sviluppo dei sistemi di controllo per robot industriali e collaborativi è orientato verso soluzioni in grado di garantire ai manipolatori un livello di autonomia sempre maggiore, riducendo la necessità dell’intervento umano. In questo contesto, le tecniche di controllo basate sulla visione artificiale e sull’integrazione delle informazioni fornite da sensori ottici rappresentano uno degli ambiti di ricerca di maggiore interesse, poiché consentono ai robot di percepire l’ambiente circostante e di adattare il proprio comportamento sulla base di ciò che avviene attorno ad essi. In questo contesto, la presente tesi analizza e sviluppa soluzioni di tracking specificamente progettate per diverse architetture di visual servoing, considerando i requisiti di accuratezza, robustezza e reattività propri delle applicazioni robotiche, con particolare riferimento al settore spaziale. L'obiettivo principale è ricostruire la velocità del target considerato in modo da isolare il suo contributo all'interno del moto relativo tra camera e target e compensarlo, cosicchè l'anello di controllo si possa dedicare alla sola riduzione dell’errore rispetto alla configurazione desiderata, trattando il target come se fosse statico e migliorando così l’accuratezza dell’inseguimento. In una prima fase è stata condotta un’analisi qualitativa di diverse soluzioni di stima relative alla configurazione Eye-to-Hand, nell’ambito di un’architettura ibrida di visual servoing a doppia camera: una camera montata sul manipolatore e una seconda camera esterna, impiegata per il tracking del target. Sebbene le strategie adattive e di fusione tra stimatori sviluppate migliorino le prestazioni dei singoli filtri, i risultati in simulazione hanno evidenziato limitazioni legate alla qualità delle misure e alle possibili occlusioni della camera esterna. Tali criticità hanno motivato l’adozione di una configurazione puramente Eye-in-Hand, caratterizzata da una maggiore prossimità tra sensore e target e da una minore esposizione alle occlusioni causate dal manipolatore. In questa configurazione sono state sviluppate tre soluzioni di stima dello stato, ciascuna progettata a partire dalla legge di evoluzione dell’errore visivo adottata dalla specifica architettura di controllo in cui è integrata e utilizzando il twist della camera, fornito dal sistema robotico, come ingresso noto del modello di processo. Le tre formulazioni considerate corrispondono al Position-Based Visual Servoing (PBVS), operante nello spazio cartesiano, all’Image-Based Visual Servoing (IBVS), basato su feature definite nel piano immagine, e al visual servoing 2.5D, che adotta una rappresentazione ibrida rispetto alle due formulazioni precedenti. Le soluzioni sviluppate sono state integrate nei rispettivi anelli di controllo e valutate attraverso esperimenti in simulazione e in laboratorio con target in movimento. I risultati mostrano che l’integrazione del modulo di stima consente di migliorare la capacità di inseguimento del manipolatore, riducendo le oscillazioni dell’errore e permettendo di operare con target caratterizzati da velocità maggiori.
File allegati
File Dimensione Formato  
2026_07_BenOthman_Tesi.pdf

non accessibile

Descrizione: Tesi
Dimensione 8.59 MB
Formato Adobe PDF
8.59 MB Adobe PDF   Visualizza/Apri
2026_07_BenOthman_Executive Summary.pdf

non accessibile

Descrizione: Executive Summary
Dimensione 5 MB
Formato Adobe PDF
5 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/261218