Unsupervised learning for multi-model consensus maximization

Multi-model fitting is the task of retrieving several parametric models in unstructured data possibly contaminated by noise and outliers. This problem arises in many Com-puter Vision applications like the estimation of planes and primitives in architectural imagery and the recovery of multiple geometric transformations from stereo images. The goal of this work is to propose a novel Deep Learning architecture for solving multi-model fitting problems in an unsupervised fashion, relying on a consensus max-imization formulation. Neural networks have not yet received a lot of attention forrecovering structures in multi-model data, even though their potential in the singlemodel scenario have already been explored. When multiple instances of the same structure are present in the data, the problem becomes challenging, as it is a typical example of a chicken-and-egg dilemma: in order to estimate models one needs to first segment the data, and in order to segment the data it is necessary to know the models associated with each data point. Complexity increases with the number of models because points belonging to one structure (inliers) constitute outliers of all the others. Greedy methods are suboptimal in situations with high noise contamination. In this regard, Deep Learning can help by simultaneously fitting all models considering the global signature of data and exploiting patterns that are not detected in traditional approaches. Moreover, unsupervised methods have a huge potential to adapt to any unseen data distribution and do not rely on problem specific hyper-parameters at run-time, suggesting the potential of this direction of research. Building on the approach of Probst et al. [16] for the single model scenario, we develop mmpnet, an original neural network for multi-model fitting trained in an unsupervised fashion, which is able to simultaneously retrieve inliers of multiple models in a single forward pass. This approach has been validated on multi-model fitting tasks: homography estimation and circle fitting, demonstrating better or on par performance with respect to traditional approaches based on random sampling. Additionally, we explore an alternative problem formulation based on GPCA.

Il multi-model fitting è il problema di recuperare molteplici modelli parametrici a partire da dati non strutturati, possibilmente contaminati da rumore e outliers. Questo problema è rilevante in molte applicazioni di Computer Vision, come per esempio la stima di primitive e superfici piane a partire da scan 3D di edifici, e l’identificazione di molteplici trasformazioni geometriche a partire da immagini stereoscopiche. In questo lavoro proponiamo una nuova architettura di Deep Learning per risolvere problemi di multi-model fitting in modo non supervisionato, utilizzando una formulazione basata su Consensus Maximization. Le reti neurali non hanno ancora ricevuto particolare attenzione nel recupero di molteplici strutture a partire dai dati, anche se il loro potenziale nello scenario single-model `e già stato esplorato. Quando molteplici modelli della stessa classe sono presenti nei dati il problema diventa complesso, poiché é un tipico esempio di chicken-egg dilemma: per poter stimare i modelli é necessario prima segmentare i dati, e per segmentare i dati é necessario conoscere i modelli associati a ciascun dato. La complessità aumenta all’aumentare dei modelli, poiché punti che appartengono a una struttura (inliers) costituiscono outliers di tutte le altre. Metodi greedy si comportano in modo subottimale in situazioni con alti livelli di rumore. A questo proposito, metodi basati su Deep Learning sono in grado di stimare simultaneamente tutti i modelli considerando l’informazione globale dei dati e sfruttando pattern che non vengono individuati da approcci tradizionali. Inoltre, un approccio non supervisionato é in grado di adattarsi a qualsiasi nuova distribuzione dei dati e non deve fare affidamento a determinati iper-parametri a runtime, confermando il potenziale di questa direzione di ricerca. A partire dall’approccio sviluppato da Probst et al. per lo scenario single-model, sviluppiamo mmpnet, una nuova rete neurale per multi-model fitting allenata in modo non supervisionato, in grado di identificare simultaneamente inliers di molteplici modelli in un singolo forward-pass. Questo approccio é stato validato sulla stima di omografie e il fitting di cerchi, dimostrando performance alla pari o migliori di approcci tradizionali basati su random sampling. Infine, esploriamo una formulazione alterna-tiva del problema basata su GPCA .