Analyzing the performance of state-of-the-art general-purpose models in medical image captioning

In this paper, we discuss the applications of the Artificial Intelligence in medical domain. With the advance of the power of the machine learning models importantly in image classification and image captioning, the radiology domain has a lot of potential. In this thesis in order to develop our models for the said tasks we used a medical dataset shared for research purpose in ImageCLEFmedical 2022 challenge [36]. We have developed different models for medical image classification based on concepts present and submitted in ImageCLEF2022 Concept Detection task. Additionally, we embark on an exploration of the effectiveness of fine-tuning general￾purpose state-of-the-art image captioning models, such as OFA1 [46], BLIP-22 [30], and GIT3 [45], on medical data. This investigation sheds light on the performance of these models in the context of medical image captioning tasks, providing valuable insights for future research and application.

In questo articolo, discutiamo delle applicazioni dell’Intelligenza Artificiale nel campo medico. Con l’avanzare della potenza dei modelli di apprendimento automatico, in parti- colare nella classificazione e nella didascalia delle immagini, il settore della radiologia ha un grande potenziale. In questa tesi, per sviluppare i nostri modelli per i compiti suddetti, abbiamo utilizzato un dataset medico condiviso per scopi di ricerca nella sfida ImageCLEFmedical 2022 [36]. Abbiamo sviluppato diversi modelli per la classificazione delle immagini mediche basati sui concetti presenti e presentati nel compito di Rilevamento dei Concetti di ImageCLEF2022. Inoltre, ci siamo impegnati in un’esplorazione dell’efficacia del raffinamento dei modelli di didascalia delle immagini generali all’avanguardia, come OFA[46], BLIP-2 [22]e GIT[45], sui dati medici. Questa indagine getta luce sulle prestazioni di questi modelli nel con- testo dei compiti di didascalia delle immagini mediche, fornendo preziose intuizioni per la ricerca e l’applicazione future.