Exploring the Potential of Lightweight LLMs for Medication and Timeline Extraction

The exponential growth of clinical text data, driven by the broad implementation of electronic health records, presents both a challenge and an opportunity for the medical field. This wealth of unstructured data contains valuable information that can significantly improve clinical decision-making, research, and patient care. However, manual extraction of this information is time-consuming, labor-intensive, and prone to errors. This thesis explores the potential of lightweight LLMs to automate and enhance the extraction of medication information and timeline data from clinical text. We investigate the effectiveness of various prompting strategies, including zero-shot, few-shot, and sequential prompting, in conjunction with structured and unstructured output formats. Our findings reveal that LLMs, even in zero-shot settings, demonstrate promising capabilities in extracting medication information, although challenges remain in ensuring completeness and avoiding redundancy. In the realm of timeline extraction, LLMs are capable of understanding and effectively dealing with a wide variety of date formats, thanks to their robust contextual disambiguation capabilities. We also investigate the aspect of explainability, proposing a line-number referencing technique to strengthen transparency and user trust. This research not only highlights the practical applications of LLMs in medical information extraction but also introduces a practical demo that facilitates prompt tuning in a more automated process. Our approach, which emphasizes prompt tuning over model training, demonstrates the substantial potential of LLMs to transform clinical data processing, leading to more efficient, accurate, and reliable outcomes.

La crescita esponenziale della quantità di dati testuali clinici, stimolata dall'adozione diffusa delle cartelle cliniche elettroniche, rappresenta sia una sfida che un'opportunità per il campo medico. Questo vasto insieme di dati non strutturati contiene informazioni preziose che possono migliorare significativamente la presa di decisioni cliniche, la ricerca e la cura dei pazienti. Tuttavia, l'estrazione manuale di queste informazioni è dispendiosa in termini di tempo, laboriosa e soggetta ad errori. Questa tesi esplora l'utilizzo di Large Language Model di piccole dimensioni per automatizzare e migliorare l'estrazione di informazioni sui farmaci e dati cronologici dai testi clinici. Indaghiamo l'efficacia di varie strategie di prompting, inclusi lo zero-shot, few-shot e il prompting sequenziale, in combinazione con formati di output strutturati e non strutturati. I nostri risultati rivelano che gli LLMs, anche in impostazioni zero-shot, dimostrano capacità promettenti nell'estrazione di informazioni sui farmaci, sebbene rimangano delle sfide nel garantire la completezza e nell'evitare la ridondanza. Nel campo dell'estrazione di timeline, gli LLM riescono ad interpretare e gestire con efficacia una vasta gamma di formati di date, sfruttando al meglio le loro capacità di contestualizzare e chiarire le ambiguità. Approfondiamo inoltre l'aspetto dell'interpretabilità, proponendo un metodo che richiede al modello di indicare la posizione specifica in cui ha trovato le informazioni, per aumentare la trasparenza e rafforzare la fiducia degli utenti. Questa ricerca non solo evidenzia le applicazioni pratiche degli LLMs nell'estrazione di informazioni mediche, ma introduce anche una pratica demo che facilita il prompting in un processo più automatizzato. Il nostro approccio, che privilegia il prompt tuning rispetto all'addestramento dei modelli, dimostra il notevole potenziale degli LLMs nel trasformare l'elaborazione dei dati clinici, portando a risultati più efficienti, accurati e affidabili.