Parametric reconstruction of the human thorax using stereophotogrammetry

This project addresses the problem of the reconstruction of a human thorax having as input a video file filmed with a smartphone and the following parametrization of the model. The software developed uses the SIFT algorithm to find the keypoint descriptors of each image, followed by a matching step between each pair of images and a reconstruction step using a Structure from Motion procedure used to compute the 3D coordinates of the keypoints of the frames and the camera parameters. After this, a T-shirt is isolated from the rest of the scene through image processing methods, including color segmentation and clustering. The following step is the definition of the surfaces to be used for parametrization and the computation of the parameters of these surfaces, using the least squares method, with an optimization step done by the simulated annealing technique. Finally, the parameters computed are compared to the point cloud and to the real model and the results are discussed for two different scenes. Tests in users with different physical build were also performed. The errors between the real values and the ones computed by the algorithm remained in more than 90% of the cases within the range of 4 centimeters required by project. The project limitations, as the processing time, are discussed in detail.

Questo progetto affronta il problema della ricostruzione di un torace umano che ha come input un video filmato da uno smartphone. Il software sviluppato utilizza l'algoritmo SIFT per trovare i descrittori di punti chiave di ciascuna immagine, seguito da un passaggio di corrispondenza tra ciascuna coppia di immagini e una fase di ricostruzione utilizzando una procedura di Structure from Motion utilizzata per calcolare le coordinate 3D dei punti chiave dei frame e dei parametri della fotocamera. Dopo questo, una maglietta è isolata dal resto della scena attraverso i metodi di elaborazione delle immagini, inclusa la segmentazione del colore e il clustering. Il passo successivo è la definizione delle superfici da utilizzare per la parametrizzazione e il calcolo dei parametri di queste superfici, utilizzando il metodo dei minimi quadrati, con una fase di ottimizzazione fatta dalla tecnica di simulated annealing. Alla fine, i parametri calcolati vengono confrontati con la nuvola di punti e con il modello reale e i risultati sono discussi per due scene diverse. Sono stati effettuati anche test in utenti con diverse build fisiche. Gli errori tra i valori reali e quelli calcolati dall'algoritmo è rimasto in oltre il 90% dei casi nell'intervallo di 4 centimetri richiesto da progetto. I limiti del progetto, come il tempo di elaborazione, sono discussi in dettaglio.