Towards real-time inference: a fusion of pose estimation and object tracking

In the rapidly evolving field of computer vision, accurate object pose estimation models have exhibited exceptional prowess in predicting spatial orientations. However, seamlessly integrating these models into real-time scenarios, particularly on resource-constrained wearable devices, poses a formidable challenge due to their computational demands. This work addresses this challenge through a multi-faceted approach, offering a novel framework that unifies pose estimation and object tracking to enhance inference speed to real-time. Noteworthy contributions include a comprehensive quantitative analysis of diverse embedded platforms, the introduction of this innovative framework, and the development of a flexible, lightweight deep-learning-based network for object tracking. The framework strategically leverages both pose estimation and object tracking, with the latter exemplified by SwiftTrack, an innovative model ensuring high-speed and precise pose estimation for wearable devices.

Nel dinamico campo della computer vision, i modelli accurati di stima della posa degli oggetti hanno dimostrato eccezionali capacità nel predire orientamenti spaziali. Tuttavia, l'integrazione fluida di tali modelli in scenari in tempo reale, specialmente su dispositivi indossabili con risorse limitate, rappresenta una sfida considerevole a causa delle loro esigenze computazionali. Questa tesi si propone di affrontare questa sfida attraverso un approccio innovativo, presentando un nuovo framework che unisce la stima della posa e il tracciamento degli oggetti per migliorare la velocità di inferenza in tempo reale. Tra i contributi significativi, troviamo un'analisi quantitativa completa di diverse piattaforme embedded, l'introduzione di questo innovativo framework, e lo sviluppo di una rete deep-learning leggera e flessibile per il tracciamento degli oggetti. Il framework sfrutta strategicamente sia la stima della posa che il tracciamento degli oggetti, con quest'ultimo esemplificato da SwiftTrack, un modello innovativo che garantisce una stima della posa ad alta velocità e precisa per i dispositivi indossabili.