High speed single photon 3D cameras for safety and security applications

First image acquisitions introduced in the first Decades of the XIX Century were based upon chemical reactions, were very slow and the results were not so satisfactory in terms of stability of the process and image quality. Moreover, photographic (or lithographic) techniques were not as widespread as we could think nowadays. But something new was created, one of the greatest technological revolutions of all time, if not equal to the birth of electronics and computers. Imaging technology has made great strides since it’s born. Once the process became very stable, the photograph started to be more and more widespread. Introduction of motion in the acquisition, color, instant printing photographs, and other techniques succeed one another. Once the electronics met the photography (or better, the image acquisition) the world changed again and the humans started to communicate with images. Meanwhile, imaging acquisition techniques became so accurate that they could be used in research applications, for example in microscopy. The birth of robotics led another great development in imaging research field because new autonomous applications (as for example robotics movement in an unknown area) could be developed. Initially based on a single image, this kind of acquisitions started to require the introduction of the last information missing in a normal image: the depth information. Stereography (the simultaneous acquisition of two images for the depth reconstruction) and other techniques were developed for this purpose. They were straightforwardly based on the measurement of the distortion of some part of the image (for example of a projected line) or on the change in the objects position due to the parallax (for multiple images). The great computing power required for these techniques prevented their diffusion in portable systems. A change in paradigm was thus required and the first time-of-flight cameras were developed. They were based on the distance-to-time conversion. In fact, assuming a photon travelling between the object and the camera, it is possible to measure the distance of the objects pixel by pixel within the image. This kind of systems (based on active illumination) is faster and simpler compared to the others; moreover, the lower required computing power allows the implementation of a high number of new applications, for example medical aids, autonomous improved surveillance of sensible areas and road safety. While for the former the depth range is very short (up to two meters), for the other two applications it can be much higher, this opening many big issues. Moreover the high speed (up to 100 fps) and the great change in the ambient light conditions (from night-time to very bright daytime) require an accurate analysis, study and development of a complete camera solution. The work carried out during this Ph.D. Thesis concerns the development of a 3D high-speed camera for safety and security applications. The development of a complete camera starts with the analysis and the improvement of existing range-meter algorithms, continues defining the performances required for a specific application and the requirements for the sensor used in the application, and concludes with the analysis of the performances of the new camera and the study of the performances in the application field. The measurement algorithms are presented and deeply analyzed, with comparison between methods and analysis of optics, geometrical dependence, light illumination, different light and background sources (a crucial problem for this kind of applications). The activity of this Thesis work is focused within an international European Project, which aims to develop a complete application-oriented 3D camera. All the implementation chain is presented, starting from hardware, through firmware and software, towards characterizations and real-scenario measurements. A compact camera (12×6.5×5 cm3) with external high-performance LASER-based illumination (10 W peak power with hundreds of nanoseconds on-time and repetition rate up to 1.7 MHz) is presented. The camera provides C-type lens mount, is USB-bus-powered and fully PC controlled. The system is able to acquire 3D movies with a frame rate up to 100 fps, while simultaneously acquiring also 2D movies up to 32 kfps. The illuminator is directly controlled by the camera, in order to guarantee proper synchronization. The camera was tested in indoor controlled conditions, providing very good performances. i.e. accuracy better than 0.2 m and precision better than 0.1 m. Chapter 1 introduces the applications for this kind of cameras, with a deep requirement analysis for everyone. In Chapter 2 algorithms and techniques for 3D image measurement acquisition are presented, with performances and some example of acquisition. Solid state imagers shown in literature are presented. Moreover, a list of commercial cameras is provided, with performances and specifications. The algorithms implemented within the developed camera are presented in Chapter 3, with an analysis of all the aspects of a camera and the sensor. Dynamic range, signal to noise ratio, measurement precision, acquisition speed, illumination power, eye safety and others are deeply analyzed. Chapter 4 presents the solid state sensors, the illuminators and the prototype cameras implemented and used to validate the algorithms and the techniques. Finally, every single part of the camera was characterized and the results are presented in Chapter 5, with lab and real scenario measurements. Comparisons between different prototypes and 3D measurement techniques are presented, together with an analysis of attained results aimed at understanding any undesired issue. This will make it possible to further improve the camera towards its use in everyday life scenarios.

Le prime acquisizioni di immagini, introdotte nei primi Decenni del XIX Secolo, si basavano su reazioni chimiche, erano processi molto lenti ed il risultato non era per niente soddisfacente in termini di stabilità e di qualità dell’immagine. Inoltre, le tecniche fotografiche (o litografiche) non erano così diffuse come ai giorni nostri. Però qualcosa di nuovo era stato creato, una delle più grandi rivoluzioni tecnologiche di tutti i tempi, al pari della nascita dell’elettronica e dei calcolatori. Da allora, le tecnologie di imaging hanno fatto passi da gigante. Una volta che il processo diventò stabile, la fotografia iniziò a diffondersi. L’introduzione dell’acquisizione del movimento, dei colori, la stampa fotografica istantanea e altre tecnologie davano nuova linfa alla fotografia. Quando l’elettronica incontrò la fotografia (o meglio, l’acquisizione di immagine) il mondo cambiò ancora e l’Umanità iniziò a comunicare tramite immagini. Nel frattempo, le tecniche di acquisizione dell’immagine divennero così accurate che poterono essere usate in applicazioni di Ricerca, per esempio nella microscopia. La nascita della robotica portò ad un altro grande sviluppo nel campo della ricerca dell’imaging poiché nuove applicazioni poterono nascere (come ad esempio i movimenti di automi all’interno di aree sconosciute). Inizialmente basate su una singola immagine , questo tipo di acquisizioni richiese l’introduzione dell’informazione normalmente mancante in una fotografia normale: l’informazione della profondità. La stereografia (ovvero l’acquisizione simultanea di due immagini per la ricostruzione della profondità) e altre tecniche furono sviluppate a questo scopo. Esse erano basate semplicemente sulla misura della distorsione di una parte dell’immagine o sul cambiamento della posizione di un oggetto a causa della parallasse (per immagini multiple). La grande potenza di calcolo richiesta per queste tecniche impedì la loro diffusione ed introduzione in sistemi portatili per lungo tempo. Un cambio di paradigma era richiesto e le prime camere per la misura del tempo di volo furono sviluppate. Questi sistemi erano basati sulla conversione distanza/tempo; difatti, considerando un fotone che viaggia tra un oggetto ripreso e la camera, è possibile misurare la distanza dell’oggetto pixel per pixel nell’immagine. Tali sistemi, basati su illuminazione attiva della scena ripresa, sono più veloci e più semplici se comparati ad altri; inoltre, la minore potenza di calcolo richiesta permette l’implementazione in un grande numero di applicazioni, come ad esempio in sistemi di aiuto medico, di sorveglianza autonoma di aree sensibili e di sicurezza stradale. Mentre per la prima applicazione la distanza massima è molto bassa (fino ad un paio di metri), per le altre due applicazione questa può essere molto maggiore, aprendo a molti problemi. Inoltre l’elevata velocità richiesta (fino a 100 fps) e le grandi variazioni nelle condizioni di luce ambiente (da notturne a diurne) richiedono analisi, studio e sviluppo accurati per una soluzione progettuale di una camera completa per le misure di profondità. Il lavoro svolto e riportato nella presente Tesi di Dottorato riguarda lo sviluppo di una camera 3D ad alto frame rate, per applicazioni di safety and security. Lo sviluppo di una camera completa inizia con l’analisi e lo studio dei miglioramenti degli algoritmi di misura esistenti, continua con la definizione delle prestazioni richieste al sensore utilizzato e si conclude con l’analisi delle performance della nuova camera all’interno dell’applicazione. L’algoritmo di misura è presentato e ampiamente analizzato nella presente Tesi, con una comparazione tra metodi, una analisi della dipendenza geometrica e ottica, lo studio delle sorgenti attive di luce, delle situazioni di luce ambiente (problema cruciale in questo tipo di applicazione). L’attività del presente lavoro di Tesi si focalizza all’interno di un Progetto Europeo di ricerca il cui scopo è lo sviluppo di una camera 3D completa orientata all’applicazione. Sarà presentata tutta la catena di implementazione, dall’hardware, passando per il firmware e il software sviluppati, puntando alla caratterizzazione all’interno di uno scenario reale di misura. Una camera compatta (12×6.5×5 cm3) con un illuminatore ad alte prestazioni basato su diodi laser (10 W di potenza di picco con periodo di abilitazione di centinaia di nanosecondi e frequenza di ripetizione fino a 1.7 MHz) verrà presentato. La camera prevede un attacco per ottica di tipo C-mount, è alimentata da porta USB e completamente controllata da PC. Il sistema è capace di acquisire filmati in 3D con un frame rate fino a 100 fps, acquisendo simultaneamente filmati 2D fino a 32 kfps. L’illuminatore è direttamente controllato dalla camera in modo da garantire una appropriata sincronizzazione in ogni situazione. La camera è stata testata in ambienti al chiuso e condizioni controllate, mostrando ottime performance (accuratezza fino a 0.2 m e precisione al di sotto di 0.1 m). Il Capitolo 1 introduce le applicazioni per questo tipo di camere, con una analisi accurata dei requisiti per ogni applicazione. Nel Capitolo 2 saranno presentate le tecniche e gli algoritmi di misura per misure delle immagini in 3D, con le prestazioni ed alcuni esempi di acquisizioni. Verranno mostrati sensori di immagini a stato solido presenti in letteratura. Inoltre saranno presentati alcuni prodotti commerciali per le acquisizioni di immagini 3D, con prestazioni e caratteristiche tecniche. Gli algoritmi implementati all’interno della camera sviluppata saranno presentati nel Capitolo 3, con analisi di tutti gli aspetti rilevanti della camera e del sensore. Range dinamico, rapporto segnale rumore, precisione della misura, velocità dell’acquisizione, potenza dell’illuminazione, eye safety e altri aspetti saranno ampiamente analizzati. Il Capitolo 4 presenterà i sensori a stato solido utilizzati nelle camere sviluppate, l’illuminatore e i prototipi di camera realizzati per validare tecniche e algoritmi. Infine, ogni singola parte della camera è stata caratterizzata e i risultati saranno presentati nel Capitolo 5, con misure in laboratorio e in ambiente reale. Comparazioni tra differenti prototipi e tecniche di misura 3D saranno presentati, insieme ad una analisi dei risultati raggiunti e dei problemi inattesi e indesiderati, rendendo possibile lo sviluppo e il miglioramento futuri della camera verso il suo utilizzo nella vita di tutti i giorni.