Enhancing televisit within Pohema platform: real-time patient's heart rate estimation and attention level

This thesis work is set within the context of telemedicine, a rapidly expanding field that is revolutionizing the approach to patient care and monitoring, particularly in scenarios where physical interaction between doctor and patient is limited or not possible. The main objective of this project was to improve the teleconsultation experience offered by the Pohema platform, developed by the Gpi Group. Pohema is a telemedicine platform characterized by a modular architecture, allowing it to adapt to the different needs of users, whether they are doctors or patients. Among the advanced features offered by the platform is the ability to share files in real-time and analyze patient emotions through voice analysis, thus providing significant support in remote diagnosis and monitoring. As part of this project, a new feature was introduced to further enhance the effectiveness and quality of teleconsultations: real-time estimation of the patient’s heart rate and attention level. These two vital indicators are crucial for monitoring the patient’s health status during a teleconsultation, as they can provide the doctor with useful information for a more accurate and timely diagnosis. Heart rate estimation is performed using an algorithm based on the pyVHR library in Python, an advanced technology that leverages remote photoplethysmography (rPPG) techniques. This method detects imperceptible skin color variations in the RGB channels of the video, which are related to blood flow and, consequently, to heart rate. The algorithm continuously analyzes 8-second video segments, allowing for real-time estimation that can be highly useful during teleconsultation. In addition to heart rate, a system was developed to estimate the patient’s attention level, a crucial aspect for assessing the effectiveness of doctor-patient communication during the teleconsultation. The attention level is determined through a series of indicators that include, in addition to heart rate, the blink rate and head position. The blink rate is estimated using computer vision algorithms that count the number of blinks. Head position is assessed by estimating the angle of rotation relative to the camera. An excessive rotation angle indicates that the patient is not facing the camera, suggesting a possible loss of attention. The final attention level is expressed as a percentage, calculated by weighing the various estimates obtained from the different indicators. To validate the effectiveness of the developed algorithms, tests were conducted on a sample of 16 subjects. The tests were performed in two modes: one asynchronous, based on recorded videos, and one in real-time, with the storage of estimates generated during live sessions. The results obtained were considered satisfactory and in line with expectations, demonstrating the validity of the proposed algorithms. However, it was clear that further improvements are needed to refine the estimates and make them more precise and reliable. In particular, interpersonal variability, influenced by factors such as skin tone or lighting quality, posed a significant challenge in heart rate estimation. One of the critical aspects that emerged during the testing phase is the need to expand the study sample, not only in numerical terms but also in terms of ethnic diversification. The accuracy of heart rate estimation algorithms, for example, can vary considerably depending on skin phototype, making it essential to test the technology on a more representative sample of the global population. Additionally, the context of the teleconsultation can influence the patient’s attention level, making it appropriate to explore further behavioral indicators that could be integrated with those already in place. Another future research direction could involve integrating the latest Artificial Intelligence and Machine Learning technologies. These technologies, through the analysis of large amounts of data, could enable the development of even more accurate predictive models capable of real-time adaptation to the individual characteristics of each patient. The implementation of deep learning neural networks for video signal analysis, for instance, could significantly improve estimation accuracy while reducing the margin of error due to external variables. In conclusion, this thesis work has laid the groundwork for a significant improvement in the teleconsultation experience offered by the Pohema platform, introducing new features that, if further refined, could have a substantial impact on the field of telemedicine. The adoption of these technologies could not only enhance the quality of remote care but also contribute to the broader adoption of telemedicine, making it an essential component of the healthcare system of the future.

Il presente lavoro di tesi si inserisce nel contesto della telemedicina, un settore in rapida espansione che sta rivoluzionando l’approccio alla cura e al monitoraggio dei pazienti, soprattutto in scenari in cui l’interazione fisica tra medico e paziente è limitata o non possibile. L’obiettivo principale di questo progetto è stato quello di migliorare l’esperienza di televisita offerta dalla piattaforma Pohema, sviluppata dal Gruppo Gpi. Pohema è una piattaforma di telemedicina caratterizzata da un’architettura modulare, che consente di adattarsi alle diverse esigenze degli utenti, siano essi medici o pazienti. Tra le funzionalità avanzate offerte dalla piattaforma, vi è la possibilità di condividere file in tempo reale e di analizzare le emozioni del paziente attraverso l’analisi della voce, fornendo così un supporto significativo nella diagnosi e nel monitoraggio a distanza. Nell’ambito di questo progetto, è stata introdotta una nuova funzionalità volta a migliorare ulteriormente l’efficacia e la qualità delle televisite: la stima in tempo reale della frequenza cardiaca e del livello di attenzione del paziente. Questi due indicatori vitali sono fondamentali per il monitoraggio dello stato di salute del paziente durante una televisita, in quanto possono fornire informazioni utili al medico per una diagnosi più accurata e tempestiva. La stima della frequenza cardiaca viene effettuata utilizzando un algoritmo basato sulla libreria pyVHR di Python, una tecnologia avanzata che sfrutta tecniche di fotopletismografia remota (rPPG). Questo metodo permette di rilevare le variazioni di colore della pelle, impercettibili all’occhio umano, nei canali RGB del video. Tali variazioni, che si manifestano in specifiche aree del volto come la fronte e le guance, sono correlate al flusso sanguigno e, di conseguenza, alla frequenza cardiaca. L’algoritmo analizza video di 8 secondi in maniera continuativa, permettendo una stima in tempo reale che può essere di grande utilità durante la televisita. Oltre alla frequenza cardiaca, è stato sviluppato un sistema per la stima del livello di attenzione del paziente, un aspetto cruciale per valutare l’efficacia della comunicazione medico-paziente durante la televisita. Il livello di attenzione viene determinato attraverso una serie di indicatori che comprendono, oltre alla frequenza cardiaca, la frequenza del battito di ciglia e la posizione della testa. La frequenza del battito di ciglia è stata stimata utilizzando algoritmi di visione artificiale che contano il numero di battiti. La posizione della testa, invece, è stata valutata attraverso la stima dell’angolo di rotazione rispetto alla telecamera. Un angolo di rotazione eccessivo indica che il paziente non è rivolto verso la telecamera, suggerendo una possibile perdita di attenzione. Il livello di attenzione finale viene espresso come una percentuale, calcolata ponderando le diverse stime ottenute dai vari indicatori. Per validare l’efficacia degli algoritmi sviluppati, sono stati condotti test su un campione di 16 soggetti. I test sono stati eseguiti in due modalità: una asincrona, basata su video registrati, e una in tempo reale, con memorizzazione delle stime generate durante le sessioni live. I risultati ottenuti sono stati considerati soddisfacenti e in linea con le aspettative, dimostrando la validità degli algoritmi proposti. Tuttavia, è emerso chiaramente che ulteriori miglioramenti sono necessari per perfezionare le stime e renderle più precise e affidabili. In particolare, la variabilità interpersonale, influenzata da fattori quali il tono della pelle o la qualità dell’illuminazione, ha rappresentato una sfida significativa nella stima della frequenza cardiaca. Uno degli aspetti critici emersi durante la fase di testing riguarda la necessità di ampliare il campione di studio, non solo in termini numerici, ma anche in termini di diversificazione etnica. La precisione degli algoritmi di stima della frequenza cardiaca, ad esempio, può variare considerevolmente in base al fototipo della pelle, rendendo fondamentale testare la tecnologia su un campione più rappresentativo della popolazione globale. Inoltre, il contesto della televisita può influenzare il livello di attenzione del paziente, rendendo opportuno esplorare ulteriori indicatori comportamentali che possano integrarsi con quelli già esistenti. Un’altra direzione di ricerca futura potrebbe consistere nell’integrazione delle più recenti tecnologie di Intelligenza Artificiale e Machine Learning. Queste tecnologie, attraverso l’analisi di grandi quantità di dati, potrebbero consentire lo sviluppo di modelli predittivi ancora più accurati, capaci di adattarsi in tempo reale alle caratteristiche individuali di ciascun paziente. L’implementazione di reti neurali profonde (Deep Learning) per l’analisi dei segnali video, ad esempio, potrebbe migliorare significativamente la precisione delle stime, riducendo al contempo il margine di errore dovuto a variabili esterne. In conclusione, questo lavoro di tesi ha posto le basi per un significativo miglioramento dell’esperienza di televisita offerta dalla piattaforma Pohema, introducendo nuove funzionalità che, se ulteriormente perfezionate, potrebbero avere un impatto rilevante nel campo della telemedicina. L’adozione di queste tecnologie potrebbe non solo migliorare la qualità delle cure offerte a distanza, ma anche contribuire a una più ampia diffusione della telemedicina, rendendola una componente essenziale del sistema sanitario del futuro.