A multi-view skeleton-based pipeline for body behaviour recognition in inclusive care settings

Human behaviour recognition in real-world educational and care settings requires models that are not only technically effective, but also privacy-preserving, interpretable, and compatible with the observation of vulnerable populations. This thesis investigates whether pose-based representations can support the automatic recognition of observable body behaviours in a daycare centre attended by adults with intellectual and developmental disabilities. First, we design an end-to-end pipeline that transforms multi-view video recordings into anonymous skeletal representations through camera calibration, video undistortion, 2D pose extraction, anonymous tracking, track stitching, annotation alignment, and dataset construction. We then define an ELAN-based annotation protocol focused on observable individual and relational behaviours, explicitly avoiding facial recognition, voice identification, emotion recognition, and biometric profiling. Next, we evaluate several learning-based approaches, including SVM baselines on 2D tabular features, a multi-view 3D reconstruction branch, PoseC3D experiments on skeleton-based representations, and exploratory relational and annotation-aware models. The results show that pose-derived features contain a learnable behavioural signal, but also reveal strong limitations due to class imbalance, tracking fragmentation, incomplete visibility, and session-dependent generalization. Overall, the thesis provides a privacy-preserving methodological framework for studying body behaviour recognition in naturalistic inclusive settings, highlighting both the potential of skeletal representations and the need for cautious, human-centred interpretation.

Il riconoscimento automatico del comportamento umano in contesti educativi e di cura reali richiede modelli non solo tecnicamente efficaci, ma anche privacy-preserving, interpretabili e compatibili con l’osservazione di popolazioni vulnerabili. Questa tesi studia se rappresentazioni basate su pose scheletriche possano supportare il riconoscimento automatico di comportamenti corporei osservabili in un centro diurno frequentato da adulti con disabilità intellettiva e dello sviluppo. In primo luogo, viene progettata una pipeline end-to-end che trasforma registrazioni video multi-view in rappresentazioni scheletriche anonime attraverso calibrazione delle camere, undistortion, estrazione di pose 2D, tracking anonimo, stitching delle tracce, allineamento con le annotazioni e costruzione dei dataset. Successivamente, viene definito un protocollo di annotazione in ELAN centrato su comportamenti individuali e relazionali osservabili, evitando esplicitamente riconoscimento facciale, identificazione vocale, riconoscimento delle emozioni e profilazione biometrica. Vengono poi valutati diversi approcci di apprendimento automatico, tra cui baseline SVM su feature tabellari 2D, un ramo di ricostruzione 3D multi-view, esperimenti PoseC3D su rappresentazioni skeleton-based e modelli esplorativi relazionali e annotation-aware. I risultati mostrano che le feature derivate dalle pose contengono un segnale comportamentale apprendibile, ma evidenziano anche limiti significativi dovuti a sbilanciamento delle classi, frammentazione del tracking, visibilità incompleta e generalizzazione dipendente dalla sessione. Nel complesso, la tesi propone un framework metodologico privacy-preserving per studiare il riconoscimento del comportamento corporeo in contesti inclusivi naturalistici, evidenziando sia il potenziale delle rappresentazioni scheletriche sia la necessità di un’interpretazione cauta e human-centred.