3D-based vision measurements in dynamic environments : defect and vibration measurement for global and local damage identification

Structural health monitoring (SHM) is essential to evaluate possible changes on a structure response to the external ambient and also to schedule periodical maintenance interventions and inspections. However, the monitoring is strongly based on qualified personnel inspections or on the measurements with sensors directly applied on the structure. This approach involves large efforts to place sensors over structures with corresponding data acquisition systems. At the same time, the equipment for measurements for long-term monitoring can be expensive, while visual inspections of qualified personnel could not be always reliable. For this reason, the application of non-contact measurement techniques can largely improve SHM since they do not need to be placed directly on a structure and they can be used for more than one structure. Moreover, the diffusion of more and more reliable Unmanned Aerial Vehicles (UAVs) allows to perform measurements close to a structure and to move the measurement system along the structure for multiple inspections. In the research presented in this thesis, the application of combined vision-based measurement devices on UAVs was investigated to obtain more reliable measurements of defects in concrete structures or to obtain vibration measurements. With this last method, the aim is to identify possible changes in the modal parameters of a structure, that would suggest a damage in a certain location. Therefore, the focus of this research work was oriented mainly to two different strategies: (i) local damage identification, to provide more accurate 3D shapes of local damages and (ii) global damage identification, to identify possible changes in modal parameters. The first part was tackled by using 3D reconstruction and Simultaneous Localisation and Mapping (SLAM) algorithms, starting from point cloud sensors acquisitions. The outcome of this research part allowed to obtain more information about performances of SLAM and 3D reconstruction algorithms and about the level of accuracy and precision in the identification of defects in concrete structures. The approach regarding this part aims more at providing reliable 3D maps on which damage identification algorithms could be applied. The main challenge of this part regards the tracking of the drone trajectory with the highest level of accuracy. This is because the alignment of 3D data obtained from 3D scanners is defined by the position of the sensor at the time of the acquisition of each single frame. Therefore, the precise tracking of the drone trajectory allows to obtain higher detailed 3D maps. The 3D scanners used for this purpose were chosen to be applied on drones and, thus, they need to be compact, light and low-cost to reduce the efforts for SHM purposes. On the other hand, the concept behind global damage identification is modal analysis, to monitor resonance frequencies, mode shapes and other modal parameters, e.g. damping. In this research, it was demonstrated that modal analysis can be obtained from tracking of features on images taken from UAVs. In this case, the main issues are to convert vibrations measured from cameras from pixels to millimetres and to compensate the motion of the drone. Indeed, since the measurement system is placed on a UAV, which is a moving reference system, the drone vibrations could impact of the vibration measure. For this reason, the main challenge is to track the position and orientation angles of the drone to remove the drone motion component from vibration measurements. Another information, that can be useful for modal analysis, is the 3D geometry of the structure under inspection. In this thesis, the methods and results about global and local damage identification from UAVs are presented.

Il monitoraggio strutturale è essenziale per valutare eventuali cambiamenti nella risposta di una struttura all'ambiente esterno e per pianificare interventi e ispezioni periodiche di manutenzione. Tuttavia, il monitoraggio si basa fortemente su ispezioni del personale qualificato o su misurazioni con sensori applicati direttamente sulla struttura. Questo approccio richiede notevoli sforzi per posizionare i sensori sulle strutture con i relativi sistemi di acquisizione dati. Allo stesso tempo, gli strumenti per il monitoraggio a lungo termine possono essere costosi, mentre le ispezioni visive del personale qualificato potrebbero non essere sempre affidabili. Per questo motivo, l'applicazione di tecniche di misurazione senza contatto può migliorare notevolmente il monitoraggio, in quanto non richiedono di essere posizionate direttamente su una struttura e la stessa strumentazione può essere utilizzata per più di una struttura. Inoltre, la diffusione di drone (Unmanned Aerial Vehicles, UAV) sempre più affidabili consente di effettuare misurazioni vicino a una struttura e di spostare il sistema di misurazione lungo la struttura per ispezioni multiple. Nella ricerca presentata in questa tesi, è stata analizzata l'applicazione di dispositivi di misurazione basati su tecniche di visione su UAV per ottenere misurazioni più affidabili dei difetti nelle strutture in cemento o per ottenere misurazioni delle vibrazioni. Con quest'ultimo metodo, l'obiettivo è identificare possibili cambiamenti nei parametri modali di una struttura, che potrebbero suggerire un danno in una determinata posizione. L’obbiettivo di questo lavoro di ricerca era principalmente orientato a due diverse strategie: (i) identificazione di danni locali, per ottenere ricostruzioni 3D più accurate di difetti locali e (ii) identificazione di danni globali, per identificare possibili cambiamenti nei parametri modali. La prima parte è stata affrontata utilizzando algoritmi di ricostruzione 3D e di SLAM, a partire dall'acquisizione di scanner 3D. Il risultato di questa parte della ricerca ha permesso di ottenere ulteriori informazioni sulle prestazioni degli algoritmi SLAM e di ricostruzione 3D e sul livello di precisione e accuratezza nell'identificazione dei difetti nelle strutture di cemento. L'approccio riguardante questa parte mira a fornire mappe 3D affidabili su cui poter applicare algoritmi di identificazione dei danni. La principale sfida di questa parte riguarda il tracciamento della traiettoria del drone con il più alto livello di precisione. Questo perché l'allineamento dei dati 3D ottenuti dagli scanner 3D è definito dalla posizione del sensore al momento dell'acquisizione di ogni singolo fotogramma. Pertanto, il tracciamento preciso della traiettoria del drone consente di ottenere mappe 3D più dettagliate. Gli scanner 3D utilizzati per questo scopo sono stati scelti per essere applicati su droni e, quindi, devono essere compatti, leggeri e a basso costo per ridurre gli sforzi per gli scopi di SHM. Invece, il concetto alla base dell'identificazione globale dei danni è l'analisi modale, per monitorare le frequenze di risonanza e i parametri modali come ad esempio lo smorzamento. In questa ricerca, è stato dimostrato che l'analisi modale può essere ottenuta dal tracciamento delle features all’interno delle immagini. In questo caso, le principali sfide sono convertire le vibrazioni misurate dalle telecamere da pixel a millimetri e compensare il movimento del drone. Infatti, poiché il sistema di misurazione è posizionato su un UAV, che è un sistema di riferimento in movimento, le vibrazioni del drone potrebbero influire sulla misura delle vibrazioni. Per questo motivo, la principale sfida è tracciare la posizione e gli angoli di orientamento del drone per rimuovere la componente di movimento del drone dalle misurazioni delle vibrazioni. Un'altra informazione che può essere utile per l'analisi modale è la geometria 3D della struttura in fase di ispezione. In questa tesi vengono presentati i metodi e i risultati sull'identificazione dei danni globali e locali ottenuti tramite l'utilizzo dei droni.