Remote biometric signal processing based on deep learning using SPAD cameras

Remote PhotoPlethysmoGraphy (rPPG) allows the extraction of cardiac information just by analyzing a video stream of a person face. In this work the adoption of Single-Photon Avalanche Diode (SPAD) cameras for rPPG applications is investigated in order to exploit the higher sensitivity of the SPAD sensors. In particular, a rPPG application in an automotive environment is proposed in order to monitor, in a non invasive fashion, the driver's health state and potentially avoid accidents caused by acute illness states. In order to compensate for the SPAD camera's low spatial resolution, a novel facial skin segmentation method, based on a deep learning architecture, is proposed. This method is able to precisely associate a skin label to each pixel of a given image depicting a face even when working with low resolution grayscale face images (64x32 pixel) and is able to work in presence of general environment condition regarding illumination, facial expressions, object occlusions and regardless of the gender, age and ethnicity of the subject. Moreover, some metrics were developed in order to monitor the dependability of the heart rate estimation and detect situations where an optical solution, such as rPPG, could fail. Finally, a rPPG application has been developed able to run in real time on a small ARM device equipped on a car. After receiving data from the SPAD camera, it is able to extract the heart signal and analyze it in order to constantly monitor the driver's health condition.

L'uso della fotopletismografia remota (rPPG) permette di ottenere informazioni sull’attività cardiaca di una persona semplicemente analizzando un video che riproduce il suo volto. In questo lavoro l’uso di una camera a singolo fotone (SPAD) per una applicazione rPPG è investigato con lo scopo di sfruttare la maggiore sensitività dei sensori SPAD. In particolare viene proposta una applicazione per l’uso della tecnologia rPPG in ambito automobilistico per monitore lo stato di salute di un guidatore senza distrarlo e con la potenzialità di evitare incidenti. Un nuovo metodo di segmentazione di immagini, basato sull’apprendimento profondo, viene proposto con lo scopo di riuscire a rivelare tutti i pixel che rappresentano pelle all’interno di una immagine del volto per cercare di ovviare alla scarsa risoluzione spaziale delle camere SPAD. Il metodo sviluppato è in grado di associare ad ogni pixel di un’immagine a scala di grigio e bassa risoluzione (64x32 pixel) l’informazione della presenza di pelle. Inoltre è in grado di lavorare in condizione di ambiante non controllato e in presenza di diverse illuminazioni, espressioni facciali, occlusioni causate da oggetti e a prescindere dall’età, dal genere e dell’etnia del soggetto. In aggiunta alcune metriche vengono proposte per valutare l’affidabilità della stima della frequenza cardiaca e riconoscere situazioni in cui un metodo ottico quale rPPG può fallire. In ultimo l’applicazione rPPG sviluppata e in grado di essere eseguita in tempo reale su un piccolo dispositivo ARM equipaggiato sull’auto.