Technology Assessment of Digital Technologies in Hospitals: An Innovative Framework based on Multi-Criteria Decision Analysis

The application of digital technologies in healthcare contributes to increasing the quality of services provided, improving patients' clinical conditions, as well as fostering more effective medical education. To introduce these technologies into a healthcare setting, they must be appropriately evaluated through the Health Technology Assessment (HTA). In the last years, the rate of new digital health technologies has significantly increased thus highlighting the question of whether existing evaluation models are adequate to comprehensively examine them, or whether new models are needed. Moreover, evaluations are conducted both at the hospital and at the healthcare system level (in Italy, in particular, at the regional level). However, there are discrepancies between these two levels in the approach toward technology that it is desirable to overcome. Through this dissertation, we contributed to the theory of HTA with the dual goals of building a quantitative evaluation framework specifically for digital health technologies, with a focus on Virtual, Augmented, and Mixed Reality, and developing an integration model between the hospital (micro) and regional (meso) levels. The starting point was the analysis of the state of the art on how digital health technologies are evaluated through a Systematic Literature Review. We then developed a preliminary HB-HTA model, complemented with evaluation criteria identified through a gap analysis. For the integration between the micro and meso levels, our proposal has been to estimate the Regional Value of a technology as a weighted sum of the values attributed to the technology by the N hospitals in the Region. Through a multiple case study in two Lombardy hospitals, we conducted the validation of the digital technologies assessment model, and with feedback provided by experts in semi-structured interviews, an HB-HTA of an Augmented Reality viewer (Microsoft HoloLens 2) in surgery was produced. This was followed by a quantitative evaluation in both hospitals of the value of the HoloLens using the Multi-Criteria Decision Analysis (MCDA). Additionally, HTA experts at both hospitals and the Lombardy Region were interviewed to validate the integration model. The experts' opinions on HoloLens in surgery were positive overall, especially regarding surgical performance accuracy, surgery planning, and resident training effectiveness. The main concerns raised were related to the need to manage technical problems and the occurrence of adverse symptoms. MCDA showed that even if multiple hospitals obtain a similar overall value from the quantitative assessment of a technology, the dimensions of analysis can contribute differently to the result achieved, as confirmed by the outcomes obtained by the two hospitals involved in the case study. Finally, the framework for the integration of the micro and meso levels in technology evaluation was not only found to be feasible but could also support the pursuit of greater alignment between these levels.

L’applicazione delle tecnologie digitali in sanità contribuisce ad aumentare la qualità dei servizi erogati, a migliorare le condizioni cliniche dei pazienti, oltre a favorire una formazione medica più efficace. Affinché siano introdotte in un contesto sanitario, queste tecnologie devono essere opportunamente valutate mediante Health Technology Assessment (HTA). Negli ultimi anni, il volume delle nuove tecnologie digitali in sanità è aumentato in modo significativo, mettendo in luce la questione se i modelli di valutazione esistenti siano adeguati a esaminarle in modo esaustivo o se siano necessari nuovi modelli. Inoltre, le valutazioni sono condotte sia a livello di ospedale che di sistema sanitario (in Italia, in particolare, a livello regionale). Tuttavia, tra questi due livelli esistono delle discrepanze nell'approccio alla tecnologia che è auspicabile colmare. Attraverso questa dissertation abbiamo contribuito alla teoria del HTA con il duplice obiettivo di costruire un modello di valutazione quantitativo specifico per le tecnologie digitali in sanità, con un focus sulla Realtà Virtuale, Aumentata, e Mista, ed elaborare un modello di integrazione tra la valutazione delle tecnologie a livello ospedaliero (micro) e regionale (meso). Il punto di partenza è stato analizzare lo stato dell’arte sulle attuali modalità di valutazione delle tecnologie digitali in sanità mediante la Systematic Literature Review. Successivamente abbiamo sviluppato un modello di HB-HTA preliminare, integrato con criteri di valutazione identificati mediante una gap analysis. Per l’integrazione tra i livelli micro e meso la nostra proposta è stata di stimare il Valore Regionale di una tecnologia come somma pesata dei valori attribuiti alla tecnologia dagli N ospedali della Regione. Attraverso un multiple case study in due ospedali lombardi abbiamo condotto la validazione del modello di valutazione delle tecnologie digitali e con i feedback forniti dagli esperti in interviste semi strutturate è stato prodotto un HB-HTA di un visore di Realtà Aumentata (Microsoft HoloLens 2) in chirurgia. A questo è seguita una valutazione quantitativa in entrambi gli ospedali del valore del HoloLens mediante Multi-Criteria Decision Analysis (MCDA). Inoltre, per la validazione del modello di integrazione sono stati intervistati esperti di HTA sia presso gli ospedali che la Regione Lombardia. Le opinioni degli esperti sul HoloLens in chirurgia sono state complessivamente positive, soprattutto in termini di accuratezza della performance chirurgica, pianificazione dell’intervento ed efficacia del training degli specializzandi. Le principali preoccupazioni sollevate sono relative alla necessità di gestire eventuali problemi tecnici e l’insorgere di sintomi avversi. Dalla MCDA è emerso come anche se più ospedali ottengano dalla valutazione quantitativa di una tecnologia un valore simile, le dimensioni di analisi possono contribuire in modo molto diverso al risultato ottenuto, come riscontrato nei due ospedali coinvolti nel case study. Infine, il modello di integrazione dei livelli micro e meso nella valutazione delle tecnologie non solo è risultato fattibile, ma potrebbe anche supportare il perseguimento di un maggiore allineamento tra questi livelli.