Image mosaicing : an approach based on synchronization and game theory

In Computer Vision, methods for aligning and stitching images into seamless photomosaics have been widely used through the years. For example, frame-rate image alignment is used in every camcorder that has an “image stabilization” feature. In the photogrammetry community, more manually intensive methods based on surveyed ground control points or manually registered tie points have long been used to register aerial photos into large-scale photo-mosaics. While most of the above techniques work by directly minimizing pixel-to-pixel dissimilarities, a different class of algorithms works by extracting a sparse set of features and then matching these to each other. Feature-based approaches have the advantage of being more robust against scene movement and are potentially faster, if implemented the right way. Their biggest advantage is the ability to “recognize panoramas”, i.e., to automatically discover the adjacency (overlap) relationships among an unordered set of images, which makes them ideally suited for fully automated stitching of panoramas taken by casual users. A related problem, known as multi-view matching, is the reconstruction of multi-feature tracks that identifies the same material point from a set of images taken from the same scene. In this thesis we present two techniques to tackle the problem of both image stitching and multi-view matching. The former combines concept from as-projective-as-possible warping with registration consistency. Specifically, it takes inspiration from the concept of flexible image warping while accounting for the errors that accumulate when adding an image at a time to the mosaic, by means of a global approach formally known as group synchronization, across all images. The latter proposes a game-theoretical approach for finding matches and still combining the consistency property, but applied, instead, to matching correspondences, addressing the limitation present in the previous related works of not having a reliable indicator for the adequacy of multi-feature tracks.

In Computer Vision, i metodi per allineare le immagini in fotomosaici senza soluzione di continuità sono stati ampiamente utilizzati nel corso degli anni. Per esempio, l'allineamento delle immagini al frame rate è usato in ogni videocamera che ha una funzione di “stabilizzazione dell'immagine”. Nella comunità della fotogrammetria, metodi più intensivi manualmente basati su punti di controllo a terra rilevati o punti di legame registrati a mano sono stati a lungo utilizzati per registrare le foto aeree in fotomosaici su larga scala. Mentre la maggior parte delle tecniche di cui sopra lavora minimizzando direttamente le dissimilarità da pixel a pixel, una diversa classe di algoritmi lavora estraendo un insieme sparso di feature per poi abbinarle tra loro. Gli approcci basati sulle feature hanno il vantaggio di essere più robusti contro il movimento della scena e sono potenzialmente più veloci, se implementati nel modo giusto. Il loro più grande vantaggio è la capacità di “riconoscere i panorami”, cioè di scoprire automaticamente le relazioni di adiacenza (sovrapposizione) tra un insieme non ordinato di immagini, il che li rende ideali per lo stitching completamente automatizzato di panorami presi da diversi utenti. Un problema correlato, noto come matching multi-vista, è la ricostruzione di tracce multi-feature che identificano lo stesso punto materiale da un insieme di immagini prese dalla stessa scena. In questa tesi presentiamo due tecniche per affrontare il problema dello stitching delle immagini e del matching multi-vista. La prima combina il concetto di warping as-projective-as-possible con la coerenza della registratura. In particolare, si ispira al concetto di warping flessibile dell'immagine mentre tiene conto degli errori che si accumulano quando si aggiunge un'immagine alla volta al mosaico, per mezzo di un approccio globale formalmente noto come sincronizzazione di gruppo, attraverso tutte le immagini. La seconda propone un approccio basato sulla teoria dei giochi per trovare le corrispondenze combinando ancora la proprietà di coerenza, ma applicato, invece, alle corrispondenze di feature, affrontando la limitazione presente nei precedenti lavori di non avere un indicatore affidabile per la congruità delle tracce multi-feature.