DILLEMA: metamorphic testing for deep learning using diffusion and large language models

In the last decade, deep learning has propelled the development of intelligent systems, notably autonomous vehicles and tumor detection tools. Despite their proven efficacy in real-world scenarios, deep learning applications exhibit unpredictable behaviors in corner cases, raising concerns about potential fatal errors. To address this challenge, effective testing methodologies are important. This thesis explores the application of Metamorphic Testing in deep learning, emphasizing its efficacy compared to alternative approaches. Unlike traditional software, deep learning systems learn from complex data, making the interpretation of erroneous corner-case behaviors challenging. Metamorphic Testing is proposed as a solution that creates test cases by transforming existing ones with the objective of highlighting failure cases in software and systems. This method has shown great capability to reveal failures in deep learning systems and enhance their robustness. This thesis introduces DILLEMA (Diffusion Model and Large Language Model for Augmentation) framework. DILLEMA combines Diffusion Models and Large Language Models (LLMs) to perform data augmentation for Metamorphic Testing by providing a more comprehensive approach to generating test cases. The proposed framework aims to address the shortcomings of current methodologies and enhance the reliability of deep learning applications.

Nell'ultimo decennio, il deep learning ha spinto lo sviluppo di sistemi intelligenti, in particolare veicoli autonomi e strumenti per la rilevazione dei tumori. Nonostante la loro comprovata efficacia in scenari del mondo reale, le applicazioni di deep learning, specialmente nell'ambito della guida autonoma, mostrano comportamenti imprevedibili in casi limite, sollevando preoccupazioni riguardo a possibili errori fatali. Per affrontare questa sfida, sono importanti metodologie di test efficaci. Questa tesi esplora l'applicazione del Metamorphic Testing nel deep learning, enfatizzando la sua efficacia rispetto ad approcci alternativi. A differenza del software tradizionale, i sistemi di deep learning imparano da dati complessi, rendendo difficile l'interpretazione di comportamenti errati in casi limite. Il Metamorphic Testing è proposto come soluzione per creare casi di test trasformando quelli gia' esistenti con l'obbiettivo di evidenziare casi di errore in software e sistemi. Questo metodo ha dimostrato notevoli capacita' nel rivelare errori all'interno di sistemi deep learning e migliore la loro robustezza. Questa tesi introduce il framework DILLEMA (Diffusion Model and Large Language Model for Augmentation). DILLEMA combina i Modelli di Diffusione e i Large Language Models (LLMs) per eseguire l'aumento dei dati per il Metamorphic Testing, fornendo un approccio più completo alla generazione di casi di test. Il framework proposto mira a risolvere le limitazioni delle metodologie attuali e migliorare la affidabilità delle applicazioni di apprendimento profondo.