Leveraging generative AI in technology assessment in hospitals: insights from a multi-chatbot experiment

In recent years, the adoption of artificial intelligence (AI) has expanded across numerous sectors, including healthcare, with the aim of enhancing both operational and clinical efficiency. In the context of strategic decision-making, hospitals assess the introduction of new health technologies through structured processes such as Hospital-Based Health Technology Assessments (HB-HTA), which examine multiple dimensions: technological aspects, clinical effectiveness, organizational impact, safety, as well as ethical, legal, social, and economic considerations. Due to the complexity of such documents, their development requires considerable time and highly specialized expertise. The objective of this thesis is to assess the extent to which generative AI can support or potentially automate the production of HB-HTA reports. To this end, outputs generated by three advanced chatbots—ChatGPT-4o, Gemini Advanced, and Perplexity Pro—were analyzed. The clinical technologies selected for the study include Howdy Baby – Monitoring Technology for Newborns in Neonatology, Indocyanine Green with Conventional Tracers for Sentinel Lymph Node Biopsy in Breast Cancer, and Mako Robotic Arm Assisted System for Hip and Knee Arthroplasty. The study was structured in two phases: a training phase, aimed at defining evaluation metrics, and a testing phase, involving a comparative analysis of the generated outputs. The development of the evaluation metrics was informed by the limited existing literature, with the goal of addressing this gap and proposing an effective, consistent, and replicable assessment methodology. An additional practical contribution lies in the design of prompts, which were examined at various levels of generalization to explore the relationship between output quality and input formulation. The results identified Gemini Advanced – Deep Research as the most suitable chatbot for supporting the drafting of HB-HTA reports. However, the current limitations in accuracy among available tools do not yet allow for full automation of the process. Based on the findings, this work also proposes potential future research directions on the topic.

Negli ultimi anni, l’adozione dell’intelligenza artificiale (AI) ha interessato numerosi settori, incluso quello sanitario, con l’obiettivo di migliorare l’efficienza sia operativa che clinica. In ambito decisionale strategico, gli ospedali valutano l’introduzione di nuove tecnologie sanitarie attraverso processi strutturati come gli Hospital-Based Health Technology Assessments (HB-HTA), che analizzano molteplici dimensioni: aspetti tecnologici, efficacia clinica, impatto organizzativo, sicurezza, implicazioni etiche, legali e sociali, oltre a considerazioni economiche. Data la complessità di tali documenti, la loro redazione richiede tempi prolungati e competenze altamente specialistiche. Obiettivo di questa tesi è valutare in che misura l’intelligenza artificiale generativa possa supportare, o potenzialmente automatizzare, la produzione di report HB-HTA. A tal fine, sono stati analizzati gli output generati da tre chatbot avanzati: ChatGPT 4o, Gemini Advanced e Perplexity Pro. Le tecnologie cliniche oggetto di studio sono: Howdy Baby – Monitoring Technology for Newborns in Neonatology, Indocyanine Green with Conventional Tracers for Sentinel Lymph Node Biopsy in Breast Cancer e Mako Robotic-Arm Assisted System for Hip and Knee Arthroplasty. La sperimentazione si è articolata in due fasi: una fase di “training”, finalizzata alla definizione di metriche valutative, e una fase di “testing”, nella quale è stata condotta un’analisi comparativa dei risultati ottenuti. La definizione delle metriche ha preso spunto dalla limitata letteratura disponibile sull’argomento, con l’obiettivo di colmare, almeno in parte, tale lacuna e proporre un metodo di valutazione efficace, consistente e replicabile. Un ulteriore contributo pratico è rappresentato dallo studio dei prompt, analizzati in relazione a diversi livelli di generalizzazione, al fine di esplorare il rapporto tra la qualità dell’output e il tipo di input fornito. I risultati hanno identificato Gemini Advanced – Deep Research come il chatbot maggiormente idoneo a supportare la redazione dei report HB-HTA. Tuttavia, l’accuratezza ancora limitata degli strumenti attualmente disponibili non consente, al momento, una completa automazione del processo. Sulla base dei risultati ottenuti, il lavoro propone infine possibili sviluppi futuri di ricerca sul tema.