An AI-based stereoscopic vision system for car wheel alignment

This master’s thesis project focuses on the design and implementation of an innovative system dedicated to measuring the car wheel alignment. The main objective is to assess the wheel’s inclination as a precursor for calculating toe and camber angles, which are essential for performing wheel alignment on a vehicle. The proposed measurement system utilizes computer vision principles, specifically employing stereo vision techniques with two cameras to capture images of the wheel. Through the analysis of these images, the 3D coordinates of key points on the wheel are extracted, enabling the determination of its final plane. The project includes the development of a comprehensive algorithm to implement stereo vision. This algorithm begins with the extraction of key points using a neural network for semantic segmentation, identifying the intersection points between the wheel’s spokes and its outer circumference. Once key points are obtained in one image, a template-matching algorithm is employed to locate corresponding points in the second image. Subsequently, leveraging the calibration parameters of the two cameras, these points are triangulated to obtain their spatial coordinates. The least squares method is then applied to fit a plane to the identified 3D points. The study focuses on estimating the potential error introduced by this system in the final calculation of toe and camber angles, with particular attention to the system’s repeatability. The assessment of repeatability involved tests conducted under different conditions to understand how consistently the system could measure the wheel’s inclination. Two different types of rims were employed to evaluate the system’s performance, also comparing two different types of cameras with different illumination and resolution to understand the system’s adaptability to various hardware configurations and determine if one system outperformed the other. The analysis was further extended by comparing measurements obtained from the proposed system with those from a commercially available scanner, aiming to provide valuable insights into its accuracy and reliability. Overall, the standard deviation obtained in the repeatability analysis ranges in the order of magnitude of 0.01°, while for the accuracy analysis, the error obtained is in the order of 0.1°.

Questa tesi magistrale si focalizza sulla progettazione e sull’ implementazione di un sistema innovativo dedicato alla misurazione e alla valutazione della convergenza delle ruote di una macchina. L’obiettivo principale è valutare l’inclinazione della ruota come precursore per il calcolo degli angoli di toe e camber. Il sistema di misurazione proposto utilizza i principi della computer vision ed in particolare, la tecnica della visione stereo, impiegando due telecamere per catturare immagini della ruota. Attraverso l’analisi di queste immagini, le coordinate 3D dei punti chiave sulla ruota vengono estratte, consentendo la determinazione del suo piano finale. Il progetto comprende lo sviluppo di un algoritmo completo per implementare la visione stereo. Questo algoritmo inizia con l’estrazione dei punti chiave utilizzando una rete neurale per la segmentazione semantica, identificando i punti di intersezione tra i raggi della ruota e la sua circonferenza esterna. Una volta ottenuti i punti chiave in un’immagine, viene utilizzato un algoritmo di template matching per individuare i punti corrispondenti nella seconda immagine. Successivamente, sfruttando i parametri di calibrazione delle due telecamere, questi vengono triangolati per ottenere le loro coordinate spaziali. Il metodo dei minimi quadrati viene quindi applicato per adattare un piano ai punti 3D identificati. Lo studio si concentra sulla stima dell’errore potenziale introdotto da questo sistema nel calcolo finale degli angoli di toe e camber, con un’attenzione particolare sulla ripetibilità del sistema. La valutazione della ripetibilità è basata su test condotti in condizioni diverse per comprendere quanto consistentemente il sistema potesse misurare l’inclinazione della ruota. Due tipi diversi di cerchioni, sono stati impiegati per valutare le prestazioni del sistema, confrontando anche due tipi diversi di telecamere con illuminazione e risoluzione differenti, al fine di comprendere l’adattabilità del sistema a diverse configurazioni hardware e vedere se ci fosse un sistema che funzionasse meglio dell’altro. L’analisi è stata estesa ulteriormente confrontando le misurazioni ottenute dal sistema proposto con quelle di uno scanner disponibile in commercio, al fine di fornire preziosi dettagli sulla sua accuratezza e affidabilità. In general, I risultati ottenuti dall’analisi di ripetibilità evidenziano una deviazione standard sugli angoli misurati nell’ordine del centesimo di grado. Per quanto rigurada l’accuratezza, l’errore ottenuto è nell’ordine del decimo di grado.