Optical flow and stereo based pipeline architecture for image motion analytics

This masters thesis presents a motion and stereo based sparse scene flow technique, which estimates the three dimensional displacement vector to describe the motion of real world point. It utilizes a decoupled approach (Wedel et al. 2008) for the fusion of optical flow and depth information. The decoupling approach enables the use of both, dense and sparse optical flow techniques in conjunction with various disparity estimation methods and allows us to choose most optimized algorithm for each task. Furthermore, the main contribution is the proposed block based FAST - BRIEF pipeline architecture for real time optical flow analysis. The described method deals with the problem of recognition of magnitude and direction of key points, which are considerably stable over consecutive frames. The first part of algorithm hence addresses the problem of key point detection, while the second part administers the matching phase. Feature extraction is carried out using FAST (Features from Accelerated Segment Test) corner detector followed by BRIEF (Binary Robust Independent Elementary Features) descriptor to greatly discount the computational complexity. Additionally, a block based matching scheme is proposed to even trim down the processing time. This also enables the parallelization and GPU implementation of entire pipeline. Each technique have been coded and simulated in MATLAB.

L’attuale lavoro di tesi presenta un’analisi del flusso ottico della scena basata su informazioni di moto e di stereo-immagini. In particolare vengono stimati I vettori di spostamento 3D in modo da determinare lo spostamento spaziale dei punti. Al fine di integrare le informazioni dal flusso ottico e dalle mappe di profondità è stato utilizzato l’approccio proposto da Wedel (Wedel et al. 2008). Tale approccio, denominato approccio di disaccoppiamento, permette l’uso congiunto delle tecniche di flusso ottico dense e sparse in comune con i vari metodi di stima della disparità permettendo un’efficace ottimizzazione dell’algoritmo nei diversi contesti applicativi. Un altro contributo rilevante svolto in questa tesi è l’architettura FAST-BRIEF per l’analisi in tempo reale del flusso ottico. Il metodo descritto affronta il problema dell’analisi del vettore spostamento (in ampiezza e direzione) dei key-points che sono ritenuti stabili tra i diversi frame. La prima parte dell’algoritmo affronta il problema del rilevamento dei key-points mentre la seconda si occupa della fase di matching. Le caratteristiche estratte si basano sul metodo FAST (features for accelerated segment test) per l’estrazione degli angoli seguito dal BRIEF (Binary Robust Independent Elementary Features) per ottenere una riduzione significativa della complessità computazionale. Un ulteriore algoritmo basato su uno schema di block matching riduce ulteriormente il tempo di processamento. Tutta la pipeline così generata è stata predisposta per una forte parallelizzazione e l’implementazione su GPU avanzate. Ogni aspetto della tesi è stato sviluppato e verificato in MATLAB.