Technology assessment of digital therapeutics

Advancements in data analytics and diffusion of digital devices have made the healthcare sector a fertile land for digitalization. In this context, digital therapeutics (DTx) – a subset of digital health - have proven to be effective in managing and treating a broad spectrum of diseases. Moreover, the increasing burden of chronic diseases is calling for efficient and reliable processes of health technology assessment (HTA), a process evaluating the outcomes of technologies at different stages of their lifecycle. As the application of HTA frameworks to digital therapeutics has been scarcely analyzed, this study aims at (1) outlining the state of the art about DTx assessment and study design, and (2) developing a framework for the assessment of digital therapeutics. A systematic review of 338 studies about digital therapeutics conducted worldwide between 2015 and 2022 was undertaken following the PRISMA guidelines, classifying each study based on 71 variables about the DTx’s features, study design, HTA domains and outcomes assessed. From the analysis it emerged that guidelines about the best study characteristics to assess a DTx are missing, and study design parameters present large variability. Further, several HTA domains (economic, organizational, ethical) are largely under- assessed, and traditional HTA frameworks show their limitations in dealing with digital medicine solutions. Three machine learning (ML) algorithms (K-NN, decision trees, random forests) were applied to find additional patterns in the data. Their outputs, combined with the recommendations emerged from the literature, were used as basis for the development of a framework for the assessment of digital therapeutics. The main result of the research is the development of a framework which recommends best practices for the assessment of a DTx, providing recommendations in terms of study type and randomization, enrolled patients and study duration, comparators and arms, outcomes and sources of evidence. The framework was tested through expert opinion elicitation in the form of three semi- structured interviews and two focus groups. Although not representing a comprehensive model for HTA of DTx, the framework created seizes an opportunity and contributes to filling a relevant literature gap about DTx product development and assessment. The framework proposed, validated using expert elicitation, constitutes the first step toward standardized guidelines for health technology assessment of digital therapeutics.

I progressi nell'analisi dei dati e la diffusione dei dispositivi digitali hanno reso il settore sanitario un terreno fertile per la digitalizzazione. In questo contesto, le terapie digitali (DTx) - un sottoinsieme della 'digital health' (salute digitale) - si sono dimostrate efficaci nella gestione e nel trattamento di una ampia gamma di malattie. Inoltre, l’incidenza crescente delle malattie croniche richiede processi efficienti e affidabili di valutazione delle tecnologie sanitarie (HTA), un processo che valuta i risultati delle tecnologie nelle diverse fasi del loro ciclo di vita. Poiché l'applicazione dei framework HTA alle terapie digitali è stata scarsamente analizzata, questo studio mira a (1) delineare lo stato dell'arte sulla valutazione e il disegno degli studi di DTx, e (2) sviluppare un framework per la valutazione delle terapie digitali. È stata realizzata una revisione sistematica di 338 studi sulle terapie digitali condotti in tutto il mondo tra il 2015 e il 2022 seguendo le linee guida PRISMA, classificando ogni studio sulla base di 71 variabili relative alle caratteristiche del DTx, al disegno dello studio, ai domini HTA e agli esiti valutati. Dall'analisi è emerso che mancano linee guida sulle migliori caratteristiche dello studio per valutare un DTx e che i parametri di progettazione dello studio presentano una grande variabilità. Inoltre, diversi domini HTA (economici, organizzativi, etici) sono ampiamente sottovalutati e i tradizionali framework HTA mostrano i loro limiti nell'affrontare le soluzioni di medicina digitale. Sono stati applicati tre algoritmi di machine learning (ML) (K- NN, alberi decisionali, foreste random) per identificare relazioni aggiuntive nei dati. I loro risultati, combinati con le raccomandazioni emerse dalla letteratura, sono stati utilizzati come base per lo sviluppo di un framework per la valutazione delle terapie digitali. Il risultato principale della ricerca è lo sviluppo di un framework che raccomanda le migliori pratiche per la valutazione di un DTx, fornendo raccomandazioni in termini di tipo di studio e randomizzazione, pazienti arruolati e durata dello studio, comparatori e bracci, outcome e fonti di evidenza. Il framework è stato testato attraverso expert opinion elicitation sotto forma di tre interviste semi-strutturate e due focus group. Sebbene non rappresenti un modello completo per l'HTA di DTx, il framework creato coglie un'opportunità e contribuisce a colmare una rilevante lacuna della letteratura sullo sviluppo e la valutazione del prodotto DTx. Il quadro proposto, validato da esperti, costituisce il primo passo verso linee guida standardizzate per l’HTA di terapie digitali.