Vision-based heart rate monitoring: towards adaptive dynamic ROI selection

In general hospital wards, where patients are stable but still require medical supervision, periodic monitoring of vital signs, such as respiratory rate, blood pressure, heart rate, temperature, and oxygen saturation, is crucial. These measurements provide essential information about the patient’s condition, enabling early detection of clinical deterioration and guiding promptly therapeutic decisions to prevent adverse events. Current monitoring methods are typically contact-based, requiring hands-on data collection by nurses. Although reliable, these methods have limitations, including increased workload for nurses, patient discomfort, interference from movement, and risks of skin irritation or infection, particularly in vulnerable populations such as elderly patients and newborns. In recent years, contactless methods for monitoring physiological measurements have gained increasing attention, offering a promising alternative for improving patient comfort, and care efficiency, while also reducing costs and the workload on healthcare staff, making it feasible to extend continuous monitoring outside the intense care unit setting. This thesis focuses specifically on heart rate (HR) monitoring through remote Photoplethysmography (rPPG), an optical technique that measures blood volume changes over time without direct contact. The rPPG setup relies on a light source, which can be either artificial or natural, and a common RGB camera that captures video footage of the patient. From this video, a processing pipeline is applied to extract HR measures by analyzing subtle color variations over time. A critical component of the rPPG pipeline is the selection of appropriate Regions of Interest (ROIs), from which the HR can be accurately extracted. The standard procedure involves the selection of regions with static extension for the entire video duration. How ever, this approach may lead to significant performance degradation, particularly in the clinical setting where patients are partially covered by medical equipment or bandages which are included in the ROIs due to its steady selection. To overcome those limitations, this thesis proposes a dynamic self-adaptable ROI method, LPA Region (LPA-R), which uses Local Polynomial Approximation and Intersection of Confidence Interval (LPA-ICI). LPA-R begins by identifying a starting point around which the ROI is built. Specifically,eight radial directions are then explored to find the maximum homogenous region, allowing the ROI to adjust dynamically to the current scenario and reduce the impact of occlusions. Due to the scarcity of datasets treating HR prediction in an obstructed setting, occluded versions of public datasets together with our own dataset, are adopted to show the potential of our proposed methods over the static standard approach. Furthermore, considering potential clinical applications, we propose an additional evaluation metric, the Reliability Index, which is crucial for assessing the confidence of the HR estimates and ensuring that the model’s uncertainty is accounted for the clinical decision-making. The results of our experiments demonstrate that our proposed method outperforms the conventional ones, improving the accuracy and reliability of remote HR monitoring in critical settings.

Nei reparti ospedalieri generali, dove i pazienti sono stabili ma necessitano ancora di supervisione medica, il monitoraggio periodico dei segni vitali, come la frequenza respiratoria, la pressione sanguigna, la frequenza cardiaca, la temperatura e la saturazione di ossigeno, è cruciale. Queste misurazioni forniscono informazioni essenziali sullo stato del paziente, consentendo una rilevazione precoce del deterioramento clinico e indirizzando tempestivamente le decisioni terapeutiche per prevenire eventi avversi. I metodi di monitoraggio attuali sono tipicamente basati sul contatto, richiedendo la raccolta manuale dei dati da parte degli infermieri. Sebbene affidabili, questi metodi presentano alcune limitazioni, tra cui un aumento del carico di lavoro per gli infermieri, disagio per il paziente, interferenze causate dal movimento e rischi di irritazione cutanea o infezione, in particolare nelle popolazioni vulnerabili come gli anziani e i neonati. Negli ultimi anni, i metodi senza contatto per il monitoraggio dei parametri fisiologici hanno suscitato un interesse crescente, offrendo un’alternativa promettente per migliorare il comfort del paziente e l’efficienza delle cure, riducendo i costi e il carico di lavoro per il personale sanitario, e rendendo possibile il monitoraggio continuo anche al di fuori del contesto delle unità di terapia intensiva. Questa tesi si concentra specificamente sul monitoraggio della frequenza cardiaca (HR) tramite la fotopletismografia remota (rPPG), una tecnica ottica che misura i cambiamenti del volume sanguigno nel tempo senza contatto diretto. Il sistema rPPG si basa su una fonte di luce, che può essere artificiale o naturale, e una comune telecamera RGB che cattura il filmato del paziente. Da questo video, viene applicata una pipeline di elaborazione per estrarre le misurazioni della HR analizzando lievi variazioni di colore nel tempo. Un componente critico della pipeline rPPG è la selezione delle appropriate Regioni di Interesse (ROI), da cui l’HR può essere estratta in modo accurato. La procedura standard prevede la selezione di regioni con estensione statica per tutta la durata del video. Tuttavia, questo approccio può portare a una significativa degradazione delle prestazioni, in particolare nell’ambito clinico, dove i pazienti sono parzialmente coperti da dispositivi medici o bende che vengono inclusi nelle ROI a causa della selezione statica. Per superare queste limitazioni, questa tesi propone un metodo dinamico e auto-adattabile di selezione delle ROI, LPA Region (LPA-R), che utilizza l’Approssimazione Polinomiale Locale e l’Intersezione degli Intervalli di Confidenza (LPA-ICI). LPA-R inizia identificando un punto di partenza attorno al quale viene costruita la ROI. In particolare, vengono esplorate otto direzioni radiali per trovare la regione omogenea massima, permettendo alla ROI di adattarsi dinamicamente allo scenario attuale e ridurre l’impatto delle occlusioni. A causa della scarsità di dataset che trattano la previsione della HR in ambienti ostruiti, vengono adottate versioni occluse di dataset pubblici insieme al nostro dataset, per mostrare il potenziale dei metodi proposti rispetto all’approccio standard statico. Inoltre, considerando le potenziali applicazioni cliniche, proponiamo una metrica di valutazione aggiuntiva, l’Indice di Affidabilità, fondamentale per valutare la fiducia nelle stime della HR e garantire che l’incertezza del modello venga presa in considerazione nel processo decisionale clinico. I risultati dei nostri esperimenti dimostrano che il nostro metodo proposto supera quelli convenzionali, migliorando l’accuratezza e l’affidabilità del monitoraggio remoto della HR in contesti critici.