Video-based real-time heart rate estimator

This thesis is part of the ACCESS project, which aims to facilitate access to medical care for individuals on the autism spectrum (ASD). ACCESS seeks to achieve this by managing stress and anxiety through personalized applications and IoT devices. Specifically, this thesis provides comprehensive background for analyzing the problem, starting with the definition of ASD and continuing with stress, to identify useful indicators for stress prediction while considering the specific characteristics of individuals with ASD. Additionally, this work presents a collection of state of the art studies on stress prediction, categorizing them based on the physiological indices used and the invasiveness of the employed techniques. After analyzing the state of the art, the work proposes a solution based on sensors for detecting heart rate in real-time in the least intrusive and invasive way possible, with the future goal of enabling continuous monitoring of patients' stress levels. Based on the study of the rPPG-toolbox, a modular software architecture is proposed, allowing the integration of various predictive models from the rPPG-toolbox to estimate heart rate in real time using frames captured with a webcam. The first integrated model is TSCAN, chosen for its lightweight design in alignment with the specific requirements of ACCESS. Experimental results demonstrated that the performances of our architecture for real-time are comparable to the one obtained with the rPPG-toolbox operating in offline mode, confirming the reliability and effectiveness of the developed system. Additionally, real-time performance tests showed promising results within our context, ensuring a delay closely to 0.4s in the heart rate estimation. The study also includes tests conducted under various environmental conditions to evaluate the effectiveness of the TSCAN model in different settings.

Questa tesi si inserisce all'interno del progetto ACCESS, un progetto volto a facilitare l'accesso alle cure mediche per persone nello spettro dell'autismo (ASD). ACCESS si propone di fare ciò attraverso la gestione dello stress e dell'ansia mediante l'uso di applicazioni personalizzate e dispositivi IoT. In particolare, la tesi fornisce un background approfondito per l'analisi del problema, iniziando dalla definizione di ASD e proseguendo con quella dello stress, al fine di individuare gli indicatori utili per la previsione dello stress, considerando le caratteristiche specifiche delle persone con ASD. Successivamente questo lavoro prone una raccolta di articoli dallo stato dell’arte inerenti alla predizione dello stato di stress, raggruppandoli per indice fisiologico usato e invasività della tecnica impiegata. Dopo aver analizzato lo stato dell'arte, il lavoro propone una soluzione basata su sensori per rilevare la frequenza cardiaca in tempo reale nel modo meno intrusivo e invasivo possibile, con l'obiettivo futuro di abilitare il monitoraggio continuo dei livelli di stress dei pazienti. Partendo dallo studio della rPPG-toolbox, la tesi propone una architettura software modulare che permette di integrare vari modelli predittivi presenti nella rPPG-toolbox stimando il battito cardiaco in tempo reale partendo da frame registrati con una webcam. Il primo modello integrato è quello di TSCAN che è stato scelto per il suo design leggero viste le specifiche richieste da ACCESS. I risultati sperimentali hanno mostrato che le prestazioni ottenute con la nostra architettura per il tempo reale, risultano comparabili ai risultati ottenuti utilizzando il toolbox originale che opera in modalità offline, confermando l'affidabilità e l'efficacia del sistema sviluppato. Inoltre, anche I test relativi concetto di tempo reale hanno dato esiti positivi rispetto al nostro contesto, garantendo un ritardo nell'intorno di 0.4s nella stima del battito cardiaco. Nello studio sono stati anche inclusi dei test in varie condizioni ambientali per stabilire l’efficacia con essi del modello TSCAN.