AI-Driven rPPG heart rate detection for in-vehicle monitoring

Road safety is a critical concern in modern society, with millions of individuals relying on vehicles for their daily commute, leisure, and work-related travel. Despite advancements in vehicle safety features and traffic management have been reached, road accidents remain a significant cause of mortality worldwide. A substantial number of these accidents are caused by driver-related issues such as stress, fatigue, and drowsiness. These conditions can be detected by monitoring the heart rate (HR), a vital sign that provides insight into a driver's state and, for this reason, can be effectively used to enhance road safety. Therefore, it is essential to track this parameter in a way that is both continuous and non-invasive, while also preserving comfort in the vehicle environment. In this context, remote Photoplethysmography (rPPG) plays a significant role, offering a distinctive means of assessing HR through the detection of blood volume changes over time without physical contact. The objective of this thesis was to develop a Deep Learning algorithm for HR detection in-vehicle from the rPPG waveform extracted from video. To fulfill this goal, the publicly available UBFC-rPPG dataset was initially used, which contains RGB facial videos and corresponding reference PPG signals, extracted by a transmissive pulse oximeter. The dataset was processed involving face detection and a windowing procedure. The prepared dataset was then fed into an Encoder-Decoder algorithm. Leveraging 3D Separable Convolutions and Shuffle Attention mechanisms made the algorithm both lightweight and effective, as evidenced by a custom-developed metric. Furthermore, to better interpret the model's test results, a posterior characterization of the PPG reference signals of the UBFC-rPPG dataset was conducted. Following the analysis of such characterization and to further the goal of implementing the algorithm in a vehicular context - a scenario not extensively covered in the literature - a more controlled dataset able to replicate in-vehicle conditions was created, including videos captured by a Near-Infrared camera and corresponding PPG signals acquired by an optical sensor. The acquisition campaign is still ongoing with the goal of making the dataset publicly available.

La sicurezza stradale è una preoccupazione fondamentale nella società moderna, con milioni di individui che si affidano ai veicoli per i loro spostamenti quotidiani, il tempo libero e i viaggi di lavoro. Nonostante i progressi nelle funzionalità di sicurezza dei veicoli e nella gestione del traffico, gli incidenti stradali rimangono una causa significativa di mortalità in tutto il mondo. Un numero considerevole di incidenti stradali è attribuibile a problemi relativi al conducente quali stress, stanchezza e sonnolenza. Il monitoraggio della frequenza cardiaca (HR) del conducente può rilevare questi stati, offrendo un indicatore essenziale della sua condizione e dell'impatto sulla sicurezza stradale. Pertanto, è fondamentale monitorare l'HR in modo continuativo e non invasivo, garantendo al contempo il comfort all'interno del veicolo. La fotopletismografia remota (rPPG) assume un ruolo chiave, permettendo la valutazione della HR senza contatto fisico attraverso le variazioni del volume sanguigno nel tempo. L'obiettivo di questa tesi è stato quello di sviluppare un algoritmo di Deep Learning robusto per il rilevamento dell'HR a partire dal segnale fotopletismografico (PPG) estratto da video acquisiti in macchina. Per raggiungere questo obiettivo, è stato inizialmente utilizzato il dataset pubblico UBFC-rPPG, che prevede video facciali RGB e i corrispondenti segnali PPG di riferimento, estratti da un pulsossimetro trasmissivo. Tale dataset è stato, poi, elaborato coinvolgendo il rilevamento del viso e una procedura di finestramento. Il dataset elaborato è stato impiegato in un algoritmo Encoder-Decoder che, utilizzando Convoluzioni Separabili 3D e il meccanismo di Shuffle Attention, si è rivelato efficiente e leggero, come dimostrato da una metrica appositamente sviluppata. Per una migliore interpretazione dei risultati del modello, è stata effettuata un'analisi a posteriori dei segnali PPG di riferimento del dataset UBFC-rPPG. In base ai risultati ottenuti e con l'obiettivo di adattare l'algoritmo all'uso veicolare, è stato creato un nuovo dataset in condizioni controllate, con variazioni di illuminazione e movimento, usando video infrarossi e segnali PPG da un sensore ottico. La raccolta dati è in fase di realizzazione e sarà resa pubblica, una volta portata a termine.