RGB-D digital image correlation technique for crack assessment through homography-based movement compensation on drones

The thesis presents an RGB-D-DIC measurement approach with sensors mounted on a moving reference (ex. UAVs) to perform crack assessments in critical areas. The developed algorithm compensates the effects of the reference movement by realigning centre subset coordinates on a defined approximately fixed part of the measurand. This allows to retrieve the real displacement field not corrupted by the drone movement. The movement compensation is done on centre subset point clouds through rototranslations or on centre subset homogenous coordinates via homographies. The coupling of a greyscale camera (Flir) with the Time of Flight (ToF) depth sensor (Blaze) also gives information about the relative position of the centre subset point clouds and of the RGB-D sensor, thus allowing a final correction to report data perpendicular to the optical axis of the camera to provide accurate results. The measurement approach is firstly validated through a simulator that works with ideal greyscale and depth images, giving satisfying results both with point clouds and homographies realignments. It is then tested on real laboratory application where a three point bending system cyclically loads a pre-cracked panel. The RGB-D sensor is handheld to simulate drone movements. In this case the movement compensation is performed only via homographies due to the poor accuracy of the ToF sensor, mediating its noisy effects on a fitted plane (homographies can only work with plane objects). The time history of the crack displacement is retrieved based on digital image correlation corrected data. A qualitative and quantitative comparison of the results is performed against a DIC 3D system considered as the ground truth model.

Questa tesi propone un approccio di misura RGB-D-DIC con sensori montati su un riferimento in movimento (es. UAV) per eseguire valutazioni di cricche in aree critiche non facilmente raggiungibili dall’uomo. L'algoritmo sviluppato compensa gli effetti del movimento del riferimento riallineando le coordinate dei centri subset su una parte approssimativamente fissa del misurando. Ciò consente di recuperare il campo di spostamento reale non corrotto dal movimento del drone. La compensazione del movimento viene effettuata sulle nuvole di punti dei centri subset mediante rototraslazioni o sulle coordinate omogenee dei centri subset mediante omografie. L'accoppiamento di una telecamera in scala di grigi (Flir) con il sensore di profondità a tempo di volo (ToF - Blaze) fornisce anche informazioni sulla posizione relativa delle nuvole di punti dei centri subset e del sensore RGB-D, consentendo così una correzione finale per riportare i dati perpendicolari all'asse ottico della camera e fornire risultati accurati. L'approccio di misura viene prima validato attraverso un simulatore che lavora con immagini ideali in scala di grigi e di profondità, fornendo risultati soddisfacenti sia con riallineamenti basati su nuvole di punti 3D che con compensazioni omografiche. L’algoritmo viene poi testato su un'applicazione reale di laboratorio con un sistema di flessione a tre punti che carica ciclicamente un pannello pre-criccato. Il sensore RGB-D è sorretto a mano per simulare i movimenti del drone. In questo caso la compensazione del movimento viene eseguita solo tramite omografie, a causa della scarsa accuratezza del sensore ToF, in modo da mediare il rumore su un piano interpolato (le omografie possono lavorare solo con oggetti piani). La storia temporale dell’apertura di cricca viene calcolata tramite i dati compensati provenienti dalla digital image correlation. Viene eseguito un confronto qualitativo e quantitativo dei risultati con un sistema DIC 3D preso come riferimento di misura.