Semantic characterization of robotic environments

Enabling robots to understand and interact with their surroundings requires robust perception systems that can capture both the objects in a scene and the spatial relationships between them. Scene graphs provide exactly this form of structured knowledge, encoding objects as nodes and spatial predicates (e.g. on, in, next to) as edges---representations that large-language-model-based task planners can consume directly for robotic manipulation. Existing scene graph generation (SGG) methods, however, rely on closed-set vocabularies and human-centric benchmarks, while end-to-end architectures collapse under the limited data and computational power typical of robotics research. This thesis presents a modular, open-vocabulary SGG pipeline. In the perception stage, four foundation models (RAM, Grounding DINO, SAM, and CLIP) detect, segment, and embed objects without a fixed category set. In the relationship stage, a Transformer-based pair scorer and a multi-modal predicate classifier fuse semantic, spatial, and mask-derived features. Validated on the Visual Relationship Detection benchmark, the pipeline achieves a mean Recall@100 of 48.90% under Predicate Classification and 19.23% under Scene Graph Detection. To test cross-domain transfer, the Geometric Primitives Dataset (GPD) is introduced: 39 tabletop manipulation images with 246 annotated triplets, built through vision--language-model-assisted annotation. Without any fine-tuning, the pipeline attains an SGDet mean Recall@20 of 16.13% on the GPD. Feature ablation confirms the dominance of CLIP text embeddings, while bottleneck analysis localises the primary performance constraint at the detection and scoring stages, identifying upstream recall as the highest-leverage improvement target.

Consentire ai robot di comprendere e interagire con l'ambiente circostante richiede sistemi di percezione robusti, capaci di catturare sia gli oggetti presenti in una scena sia le relazioni spaziali tra di essi. I grafi di scena offrono esattamente questa forma di conoscenza strutturata, codificando gli oggetti come nodi e i predicati spaziali (ad es. sopra, dentro, accanto a) come archi — rappresentazioni che i pianificatori di task basati su modelli linguistici di grandi dimensioni possono utilizzare direttamente per la manipolazione robotica. I metodi esistenti di generazione di grafi di scena (SGG) si affidano tuttavia a vocabolari chiusi e a benchmark incentrati sull'ambiente umano, mentre le architetture end-to-end mostrano i propri limiti di fronte alla scarsità di dati e alla potenza computazionale ridotta tipiche della ricerca in robotica. Questa tesi presenta una pipeline SGG modulare a vocabolario aperto. Nella fase di percezione, quattro modelli fondazionali (RAM, Grounding DINO, SAM e CLIP) rilevano, segmentano e rappresentano gli oggetti senza un insieme di categorie predefinito. Nella fase di relazione, uno scorer di coppie basato su Transformer e un classificatore multimodale di predicati fondono caratteristiche semantiche, spaziali e derivate dalle maschere. Validata sul benchmark Visual Relationship Detection, la pipeline raggiunge una mean Recall@100 del 48,90% nella configurazione Predicate Classification e del 19,23% nella configurazione Scene Graph Detection. Per valutare il trasferimento inter-dominio, viene introdotto il Geometric Primitives Dataset (GPD): 39 immagini di manipolazione su piano di lavoro con 246 triple annotate, costruito mediante annotazione assistita da modelli visione-linguaggio. Senza alcun fine-tuning, la pipeline raggiunge una SGDet mean Recall@20 del 16,13% sul GPD. L'ablazione delle feature conferma la predominanza degli embedding testuali di CLIP, mentre l'analisi dei colli di bottiglia localizza il principale vincolo prestazionale nelle fasi di rilevamento e scoring, identificando nella recall a monte il punto di leva più elevato per i miglioramenti futuri.