Zero-shot model-free 6D object pose estimation in RGB-D videos

Knowing the position and orientation of an object in three-dimensional space, collectively referred to as its 6D pose, is a foundational requirement in robotics, augmented reality systems, and many other applications. Classical methods for this task require a 3D model of the object prepared in advance, and even recent model-free approaches still require a dedicated collection of reference images with known poses before tracking can begin. This thesis studies and demonstrates the potential of a fully zero-shot pipeline: given only two points on the object to track in the first frame, the system generates a 3D mesh of the object, recovers its real-world scale, and tracks its pose throughout the RGB-D video, a standard video format that captures both color and depth for each frame, all without any prior knowledge of the object's shape or appearance. The central contribution is a mesh update scheme that progressively refines both the geometry and the texture of the generated mesh using the depth and color observations accumulated from frames during tracking. Our experiments show that zero-shot model-free tracking is viable at a small accuracy cost relative to methods that rely on a prepared 3D model, and that the mesh refinement stage consistently improves both geometry, texture quality, and pose accuracy. These results open practical possibilities for pose tracking in settings where preparing a 3D model or a reference collection is too costly or impractical. This thesis addresses the zero-shot model-free setting: given only an RGB-D video sequence and a minimal user prompt on the first frame, the system simultaneously tracks the 6D pose of an unknown rigid object and reconstructs a complete 3D mesh, with no prior knowledge of the object's geometry or appearance. The proposed pipeline chains four stages. First, SAM combined with XMem produces per-frame object masks from the first-frame prompt. Second, SAM-3D generates a complete textured mesh from the first frame via a single-image-to-3D foundation model. Third, a hypothesis-based scale recovery stage aligns the generated mesh to the correct physical dimensions using FoundationPose scoring. Fourth, FoundationPose tracks the 6D pose across all frames. The main contribution is a confidence-based online mesh completion module that incrementally refines vertex positions and colors using posed RGB-D observations, without requiring any neural retraining. Each observed 3D point accumulates a confidence scalar reflecting observation reliability, and a vertex is committed to the mesh only once its confidence exceeds a threshold, ensuring only geometrically consistent observations update the model. The method is evaluated on the HO3D benchmark, an RGB-D dataset of 13 sequences featuring 4 YCB objects in challenging hand-occlusion scenarios. The proposed approach achieves an ADD AUC of 60.5\%, outperforming all zero-shot model-free baselines and reducing the gap to the model-based upper bound (FoundationPose with ground-truth mesh, 69.0\%) to 8.5 percentage points. Mesh completion provides a consistent improvement over the base pipeline, confirming that confidence-weighted vertex updates reliably improve both surface geometry and downstream tracking accuracy.

La stima della posa a 6 gradi di libertà (6D) di oggetti sconosciuti e la ricostruzione della loro geometria 3D completa sono capacità fondamentali per la manipolazione robotica, la realtà aumentata e la comprensione della scena. Gli approcci classici richiedono un modello CAD acquisito in anticipo o immagini di riferimento con posa nota, risultando impraticabili in scenari aperti dove gli oggetti vengono incontrati senza preparazione previa. Questa tesi affronta il problema zero-shot model-free: dato solo un video RGB-D e un prompt minimo dell'utente sul primo fotogramma, il sistema traccia simultaneamente la posa 6D di un oggetto rigido sconosciuto e ricostruisce una mesh 3D completa, senza alcuna conoscenza pregressa della geometria o dell'aspetto dell'oggetto. La posizione e l'orientamento di un oggetto nello spazio tridimensionale, noti collettivamente come posa 6D, costituiscono un requisito importante per la robotica, la realtà aumentata e molte altre applicazioni. I metodi classici richiedono un modello 3D dell'oggetto preparato in anticipo, e anche i più recenti approcci model-free richiedono una raccolta dedicata di immagini di riferimento con pose note prima che il tracciamento possa avere inizio. Questa tesi studia e dimostra il potenziale di una pipeline completamente zero-shot: dati solo due punti dell'oggetto da tracciare nel primo fotogramma, il sistema genera una mesh 3D dell'oggetto, ne recupera la scala reale e ne traccia la posa lungo tutto il video RGB-D, un formato video standard che acquisisce sia il colore che la profondità per ogni fotogramma, senza alcuna conoscenza preliminare della forma o dell'aspetto dell'oggetto. Il contributo centrale è uno schema di aggiornamento della mesh, che raffina progressivamente sia la geometria che la texture della mesh generata utilizzando le osservazioni di profondità e colore accumulate dai fotogrammi durante il tracciamento. I nostri esperimenti mostrano che il tracciamento zero-shot privo di modello è praticabile con un costo in termini di precisione ridotto rispetto ai metodi che si affidano a un modello 3D preparato, e che la fase di raffinamento della mesh migliora in modo consistente la geometria, la qualità della texture e la precisione della posa. Questi risultati aprono possibilità concrete per il tracciamento della posa in contesti in cui preparare un modello 3D o una raccolta di riferimento è troppo costoso o impraticabile. Il metodo è valutato su HO3D, un dataset RGB-D di 13 sequenze con 4 oggetti YCB in scenari di occlusione da mano. L'approccio proposto raggiunge un ADD AUC del 60.5\%, superando tutti i baseline zero-shot model-free e riducendo il divario rispetto all'upper bound model-based (FoundationPose con mesh ground-truth, 69.0\%) a 8.5 punti percentuali.