A reinforcement learning approach for health-behavioural recommendations to reduce cancer risk

Most of the cancer cases recorded in the European region are attributable to modifiable risk factors, such as smoking, alcohol consumption, diet and physical activity. Consequently, prevention of these diseases can be effectively promoted through interventions aimed at changing people's habits. Among the most widely used and studied methods in this area are digital behavioral recommendations, implemented through notifications on smartphone applications, which suggest small actions aimed at encouraging healthier lifestyles. However, the models used to generate these recommendations are often static and do not dynamically adapt to user evolution. In this thesis, we propose the use of a reinforcement learning-based method to generate weekly missions aimed at developing long-term healthy habits. Specifically, our contribution focuses on introducing a virtual user model capable of capturing the effect of fatigue in performing the recommended actions and the probability of acceptance of the recommendations. For recommendation optimization, we use Soft Actor-Critic (SAC) as a reinforcement learning algorithm and evaluate its effectiveness in modeling user behavior. To address the challenge of generalization to users with different and not directly observable characteristics, we compare our approach with Model-Agnostic Meta-Learning (MAML), a meta learning method that aims to improve the model's ability to adapt to new users. We also perform a comparison with a method based on contextual bandits, evaluating advantages and disadvantages of each approach in terms of the effectiveness of personalized recommendations. Finally, we conduct an empirical analysis to determine the volume of data needed to train a sufficiently accurate model, ensuring personalized and adaptive recommendations for the promotion of healthy lifestyles.

La maggior parte dei casi di tumore registrati nella regione europea è attribuibile a fattori di rischio modificabili, quali fumo, consumo di alcol, dieta e attività fisica. Di conseguenza, la prevenzione di tali patologie può essere efficacemente promossa attraverso interventi mirati al cambiamento delle abitudini dei cittadini. Tra i metodi più diffusi e studiati in questo ambito figurano le raccomandazioni comportamentali digitali, implementate tramite notifiche su applicazioni per smartphone, che suggeriscono piccole azioni volte a favorire stili di vita più sani. Tuttavia, i modelli utilizzati per generare queste raccomandazioni sono spesso statici e non si adattano in modo dinamico all’evoluzione dell’utente. In questa tesi, proponiamo l’utilizzo di un metodo basato sull’apprendimento per rinforzo per generare missioni settimanali finalizzate allo sviluppo di abitudini salutari a lungo termine. In particolare, il nostro contributo si concentra sull’introduzione di un modello di utente virtuale capace di catturare l’effetto della fatica nell’eseguire le azioni consigliate e la probabilità di accettazione delle raccomandazioni. Per l'ottimizzazione delle raccomandazioni, utilizziamo Soft Actor-Critic (SAC) come algoritmo di apprendimento per rinforzo, valutandone l'efficacia nel modellare il comportamento degli utenti. Per affrontare la sfida della generalizzazione su utenti con caratteristiche diverse e non direttamente osservabili, confrontiamo il nostro approccio con Model-Agnostic Meta-Learning (MAML), un metodo di meta-apprendimento che mira a migliorare la capacità di adattamento del modello a nuovi utenti. Inoltre, eseguiamo un confronto con un metodo basato su contextual bandits, valutando vantaggi e svantaggi di ciascun approccio in termini di efficacia delle raccomandazioni personalizzate. Infine, conduciamo un’analisi empirica per determinare il volume di dati necessario ad addestrare un modello sufficientemente accurato, garantendo raccomandazioni personalizzate e adattive per la promozione di stili di vita salutari.