Camera-aided dataset generation for radar object detection models

Object detection in images is a popular and researched task in the deep-learning field. The growing popularity of Frequency-Modulated Continuous Wave (FMCW) mmWave radar as sensing devices has fueled the research towards object detection in the radar domain using deep-learning methods. A deep-learning approach to this problem requires the use of an annotated dataset of radar images. However, public availability of such radar datasets is limited. In this thesis we propose a pipeline for the automatic cameraaided annotation of a dataset of radar images in the range-angle domain. The considered experimental setup is composed of a camera and a FMCW mmWave radar. The data for this work was collected indoor, with people as moving targets in the environment. We used a YOLO model to detect the targets in the camera images. This information was projected to the radar image with a transformation obtained with the setup calibration procedure. Radar data was then processed to remove background and clutter. To generate the dataset, we developed a tool that combines the information provided by the camera with the processed radar images. With the proposed methods, we were able to produce a dataset composed of over 16000 annotated radar images. A YOLO model for object detection in radar images was trained on the generated dataset and showed significant performance, achieving around 94% mAP@.50 and 75% average IoU.

Il riconoscimento di oggetti nelle immagini è un compito popolare e oggetto di molta ricerca nel campo del deep-learning. La crescente popolarità dei radar a onde millimetriche di tipo Frequency-Modulated Continuous Wave (FMCW) come dispositivi di rilevamento ha alimentato la ricerca nel campo del riconoscimento di oggetti basato su metodi di deep-learning nelle immagini radar. Un approccio basato sul deep-learning per questo ambito richide l’utilizzo di un dataset annotato di immagini radar. Tuttavia, la disponibilità pubblica di tali dataset radar è limitata. In questa tesi proponiamo una pipeline per l’annotazione automatica di un dataset di immagini radar nel dominio range-angle. Il setup sperimentale considerato è composto da una videocamera e da un radar FMCW a onde millimetriche. I dati necessari per questo lavoro sono stati raccolti in ambienti chiusi, utilizzando persone come obiettivi in movimento da identificare nell’ambiente. Abbiamo utilizzato un modello YOLO per identificare gli obiettivi nelle immagini della videocamera. Queste informazioni sono state poi proiettate sull’immagine radar tramite l’ausilio di una trasformazione ottenuta dalla calibrazione del setup sperimentale. I dati radar sono stati elaborati per rimuovere l’ambiente di fondo e il clutter. Per generare il dataset, abbiamo sviluppato uno strumento che combina le informazioni fornite dalla videocamera con le immagini radar elaborate. Con le metodologie proposte, è stato possibile ottenere un dataset composto da oltre 16000 immagini radar annotate. Un modello YOLO per il rilevamento di oggetti nelle immagini radar è stato addestrato sul dataset generato e mostra prestazioni significative, ottenendo circa il 94% in mAP@.50 e il 75% in IoU media.