Video motion magnification to improve the accuracy of vision-based vibration measurements

Vision-based measurement methods allow to perform contactless measurements at a relatively low cost. However, one of its drawbacks is that their uncertainty is generally higher than other methods. A relatively new technique, video motion magnification, may mitigate this problem. Motion magnification allows to visualize changes that were invisible for the naked eye, such as the downwards displacement of a railway bridge when a train passes over it. A small sub-pixel displacement becomes several pixels of motion. Unfortunately, these methods generally add some level of distortion to the images. The main goal of this thesis is to study the applicability of motion magnification algorithms to enhance optical measurement accuracy, specially pattern matching and edge detection. For this purpose, the main algorithms developed in the past years for motion magnification are exposed. After the theoretical explanation, a comparison in practical terms of the performances of the different methods is made. The main conclusion of this part of the work is that a recently released algorithm based on the use of convolutional neural networks generally outperforms previous methods, based on the use of convolution filters. Then, after a brief explanation on the uncertainty of pattern matching algorithms and how motion magnification may reduce it, several experimental tests are carried out. Specifically, three experiments, each one containing different tests and approaches, study the applicability of motion magnification on pattern matching, and one experiment analyzes the same for edge detection. Evidence of error reductions (up to -82.5%), when applying motion magnification before any of both measurement methods, is shown. The dependency between the error change and the magnification factor is also studied. Furthermore, two additional experiments analyze the blur and artifacts that motion magnification generates. The main contribution of this thesis is the evidence of measurement error decrease in pattern matching and edge detection, since previous works had focused mainly on other machine vision techniques, such as digital image correlation. The experimental results on the distortion caused by motion magnification and the comparison between the different existing magnification algorithms may also help for future works in this line.

I metodi di misurazione basati sulla visione consentono di eseguire misurazioni senza contatto a un costo relativamente basso. Tuttavia, uno dei suoi svantaggi è che la loro incertezza è generalmente maggiore rispetto ad altri metodi. Una tecnica relativamente nuova, l'ingrandimento del movimento video, può mitigare questo problema. L'ingrandimento del movimento consente di visualizzare i cambiamenti che erano invisibili ad occhio nudo, come lo spostamento verso il basso di un ponte ferroviario quando un treno lo attraversa. Un piccolo spostamento di un subpixel diventa diversi pixel di movimento. Sfortunatamente, questi metodi generalmente aggiungono un certo livello di distorsione alle immagini. L'obiettivo principale di questa tesi è studiare l'applicabilità degli algoritmi di ingrandimento del movimento per migliorare l'accuratezza della misurazione ottica, in particolare il pattern matching e il rilevamento dei bordi. A tal fine vengono esposti i principali algoritmi sviluppati negli ultimi anni per l'ingrandimento del movimento. Dopo la spiegazione teorica, viene effettuato un confronto in termini pratici delle prestazioni dei diversi metodi. La conclusione principale di questa parte del lavoro è che un algoritmo rilasciato di recente basato sull'uso di reti neurali convoluzionali supera generalmente i metodi precedenti, basati sull'uso di filtri di convoluzione. Quindi, dopo una breve spiegazione sull'incertezza degli algoritmi di pattern matching e su come l'ingrandimento del movimento possa ridurla, vengono eseguiti diversi test sperimentali. Nello specifico, tre esperimenti, ciascuno contenente diversi test e approcci, studiano l'applicabilità dell'ingrandimento del movimento sul pattern matching e un esperimento analizza lo stesso per il rilevamento dei bordi. Viene mostrata la prova della riduzione degli errori (fino a -82,5%), quando si applica l'ingrandimento del movimento prima di uno qualsiasi di entrambi i metodi di misurazione. Viene anche studiata la dipendenza tra la variazione dell'errore e il fattore di ingrandimento. Inoltre, due ulteriori esperimenti analizzano la sfocatura e gli artefatti generati dall'ingrandimento del movimento. Il contributo principale di questa tesi è l'evidenza della diminuzione dell'errore di misurazione nel pattern matching e nel rilevamento dei bordi, poiché i lavori precedenti si erano concentrati principalmente su altre tecniche di visione artificiale, come la correlazione di immagini digitali. I risultati sperimentali sulla distorsione causata dall'ingrandimento del movimento e il confronto tra i diversi algoritmi di ingrandimento esistenti possono anche aiutare per lavori futuri in questa linea.