UAV monitoring of dam joints: a feasibility study

A substantial number of existing dams were built several decades ago, making them vulnerable to aging and deterioration. These critical infrastructures require continuous monitoring to ensure their safety for future use. Typically, displacements are measured using sensors installed directly on the structure, providing localized point-wise data. However, not all dams are equipped with such systems, and essential information for an effective structural health monitoring may be lacking. Alternatively, optical sensors mounted on drones can be used to scan the surface and obtain the requisite measurements. This PhD thesis studies the feasibility of applying vision-based techniques as monitoring tools for measuring relative displacements at joints in dams. The techniques applied are the following: Three-Dimensional Digital Image Correlation (3D DIC), Time-of-Flight (ToF), and photogrammetry. Each of these techniques has limitations when utilized in uncontrolled circumstances, leading to reduced accuracy. Indoor and outdoor experimental works are conducted under diverse environmental conditions, to recreate a real field monitoring. 3D DIC is initially used to monitor relative displacements due to fracture propagation in prestressed concrete samples tested in the laboratory, in the presence of multiple cracks. The crack profiles along the specimen height are obtained, where the smallest detected crack is around 0.02 mm. This experimental data is employed in an inverse analysis procedure to determine the fracture properties of concrete. A reduced Finite Element (FE) model is proposed, where the discretized domain focuses on a single crack and the information collected by DIC is also used to define the boundary conditions. This process is similar to that potentially utilized to characterize joints in dams. Then, an outdoor test is conducted with partial shadows intentionally applied to the monitored region, in order to examine the effect of uneven illumination on 3D DIC measurements. Compensation techniques, involving image brightness adjustment, are proposed to mitigate this effect. The mean error and its standard deviation are adopted as evaluation metrics to evaluate the quality of the DIC data. The presence of shadows caused disturbances, resulting in fluctuations of the measurements around the mean value. The brightness adjustment methods moderately decrease the standard deviation. Moreover, it was found that enhancing the brightness of the reference image is necessary only if it contains a shadow. In the final experiment, the three vision-based techniques (3D DIC, ToF, and photogrammetry) are used to measure the relative displacements between two large concrete blocks. The experimental setup, including outdoor conditions, specimen roughness, and size, closely mirrors field measurement conditions in dams. Post-processing practices are implemented to enhance the measurement precision, and a general evaluation of the performance of each technique is conducted. A small drone is used for photogrammetry-based image acquisition, while the ToF device and the cameras used for DIC are mounted on stable supports. However, the proposed displacement calculation methodology accommodates for variations in the ToF device location between scans. The results show that 3D DIC is the most robust methodology, with small fluctuations observed in the measurements of the other two techniques. Photogrammetry demonstrated superior accuracy compared to ToF, with its measurements differing from those obtained by DIC by no more than 0.52 mm. In general, ToF devices do not capture in-plane dimensions. This limitation can be overcome by employing the data from the captured color image. A technique is developed which detects a feature in the color image, and then determines its corresponding location in the 3D point cloud. Despite the low resolution of the depth camera, promising results are achieved with a maximum error of 0.64 mm for in-plane measurements. The maximum error for out-of-plane displacements is 2.88 mm, which reduces to 1 mm after excluding outliers. In terms of payload, photogrammetry is the most flexible technique since it only requires a single camera mounted on a drone. 3D DIC needs a larger drone to carry and operate two cameras simultaneously. For ToF recordings, a medium-sized drone equipped with an onboard computer can be used. Future improvements in depth camera resolution will significantly enhance measurement accuracy. Overall, this study demonstrates the feasibility of using optical sensors mounted on drones to measure displacements in dams, while providing solutions to address some current challenges.

Molte delle dighe esistenti sono state costruite diversi decenni fa e risultano vulnerabili all'invecchiamento e al deterioramento indotto dal passare del tempo. La loro sicurezza nel lungo periodo può essere garantita da un monitoraggio continuo. Generalmente, vengono rilevati spostamenti strutturali attraverso sensori installati direttamente sulla diga, che forniscono dati precisi e puntuali. Tuttavia, non tutte le dighe dispongono di sistemi accurati, e le informazioni cruciali per valutare la loro integrità strutturale possono essere carenti. Un'opzione efficace è precede di ricorrere a sensori ottici montati su droni, che consentono di scansionare la superficie della diga e raccogliere le misure necessarie in modo rapido e dettagliato. Questa tesi di dottorato analizza la fattibilità dell'impiego di tecniche basate sulla visione artificiale per il monitoraggio degli spostamenti relativi nei giunti delle dighe. Questo lavoro considera le seguenti metodologie: la Correlazione Tridimensionale di Immagini Digitali (3D DIC), la tecnologia Time-of-Flight (ToF) e la fotogrammetria. Ciascuna di queste tecniche presenta delle limitazioni in condizioni ambientali non controllate, con un conseguente degrado della precisione. L’efficacia di tali approcci viene quindi valutata attraverso prove sperimentali condotte in laboratorio e all’aperto, cercando di riprodurre le reali condizioni di monitoraggio in campo. La tecnica 3D DIC viene utilizzata inizialmente per misurare gli spostamenti relativi dovuti alla propagazione della frattura in campioni di calcestruzzo precompresso testati in laboratorio, in presenza di fessure multiple. Lungo l'altezza del campione vengono rilevati i profili delle fratture che presentano un’apertura di almeno 0.02 mm circa. I dati sperimentali così ottenuti vengono poi utilizzati per determinare le proprietà meccaniche di frattura del calcestruzzo attraverso un’analisi inversa. A tal fine, viene proposto un modello ridotto agli Elementi Finiti (FE), in cui il dominio discretizzato si concentra su una singola fessura, e le informazioni raccolte tramite DIC vengono utilizzate per definire le condizioni al contorno. Questo approccio è analogo a quello che potrebbe essere applicato per la caratterizzazione dei giunti nelle dighe. Successivamente, vengono eseguite prove sperimentali all’aperto, introducendo in modo intenzionale delle ombre sulla regione monitorata, al fine di valutare l’impatto di una illuminazione non uniforme sulle misure 3D DIC. Per mitigarne l’effetto, vengono proposte tecniche di compensazione basate sulla regolazione della luminosità delle immagini. La qualità dei dati DIC viene valutata in base all'errore medio e alla sua deviazione standard. I risultati mostrano che la presenza di ombre introduce disturbi che si manifestano come fluttuazioni delle misurazioni attorno al valore medio. L’applicazione delle tecniche di regolazione della luminosità induce però una moderata riduzione della deviazione standard. Inoltre, si osserva che è opportuno migliorare la luminosità dell’immagine di riferimento solo nel caso in cui questa contenga un’ombra. Infine, le tre tecniche in questione (3D DIC, ToF e fotogrammetria) vengono utilizzate per misurare gli spostamenti relativi tra due grossi blocchi di calcestruzzo. L’allestimento della prova sperimentale (condizioni ambientali, rugosità superficiale, dimensioni dei campioni) è stato progettato per riprodurre il più fedelmente possibile le condizioni di misurazione in campo nelle dighe. Vengono applicate tecniche di post-processing che permettono di migliorare la precisione dei risultati e si effettua una valutazione complessiva delle prestazioni di ciascuna metodologia. Le immagini fotogrammetriche vengono acquisite tramite un piccolo drone, mentre il dispositivo ToF e le telecamere per la DIC sono montati su supporti fissi. Peraltro, la metodologia proposta per il calcolo degli spostamenti è in grado di tenere conto delle variazioni della posizione del dispositivo ToF tra una scansione e l'altra. I risultati mostrano che la 3D DIC è la metodologia più robusta, mentre le misurazioni effettuate con le altre due tecniche sono affette da piccole fluttuazioni. La differenza dei risultati ottenuti dalla fotogrammetria rispetto alle misure effettuate con DIC è inferiore a 0.52 mm, prestazione migliore di quella offerta dalla metodologia basata su ToF. In generale, i dispositivi ToF non sono in grado di catturare le dimensioni nel piano, ma questa limitazione può essere superata dall’acquisizione dell’immagine a colori che viene utilizzata per identificare la posizione di elementi caratteristici nella nuvola di punti 3D. Nonostante la bassa risoluzione della telecamera di profondità utilizzata in questo studio, sono stati ottenuti risultati promettenti, con un errore massimo di 0.64 mm per le misurazioni nel piano. Per gli spostamenti fuori dal piano, l’errore massimo iniziale di 2.88 mm è stato ridotto a 1 mm escludendo i valori anomali. Per quanto riguarda gli aspetti strumentali, la fotogrammetria è la tecnica più flessibile, poiché richiede solamente una fotocamera montata su drone. La 3D DIC, invece, necessita di un drone più grande per trasportare e gestire contemporaneamente due fotocamere. Per le registrazioni ToF è sufficiente un drone di medie dimensioni dotato di un computer di bordo. Peraltro, si prevede che i futuri miglioramenti nella risoluzione delle telecamere di profondità porteranno a un significativo aumento della precisione nelle misurazioni. In conclusione, questo studio dimostra la fattibilità dell'uso di sensori ottici montati su droni per la misura degli spostamenti delle dighe, fornendo soluzioni efficaci per affrontare le attuali sfide del monitoraggio strutturale.