Automated generation of diverse test cases for autonomous systems using evolutionary search and explainable AI

The growing number of autonomous systems that emerged as fundamental components in various domains, ranging from transportation to healthcare, has led to an increasing number of accidents attributable to malfunctions of these. Consequently, rigorous testing methodologies to ensure their reliability, safety, and performance are necessary to be adopted. Autonomous systems testing is the branch of software testing that deals with verifying and validating these types of systems. Traditional testing methods often fail to adequately address the complexities inherent in autonomous systems, particularly concerning their dynamic environments and unpredictable behaviors. However, methodologies employing metaheuristics can overcome the testing complexities of autonomous systems by imposing fewer assumptions on the problems' structure in searching for viable solutions. Search-based Software Testing, combined with Explainable AI techniques, can help to increase the test coverage of autonomous systems by detecting more diverse failures that are characterized by different behaviors rather than diverse input signals. This thesis explores Search-based Testing and Explainable AI techniques to identify highly diverse failures during simulations of autonomous systems. The approaches analyzed tackle the problem as an optimization one where the objectives are represented by aggregated metrics of quantity and diversity of failures. Detailed analyses prove that the behavioral-driven approaches outperform traditional input diversity-driven ones, providing superior results both in terms of the number of failures discovered and in the input and behavioral diversity. Specifically, these analyses showcase a diversity increase of up to 40% based on median values and up to 55% considering the third quantile, while ensuring a similar time budget for each simulation. The designed approach facilitates the identification of critical diverse failures in autonomous system testing, ensuring cost and time savings.

Il crescente numero di sistemi autonomi, emersi come componenti fondamentali in vari settori, dai trasporti alla sanità, hanno portato ad un aumento del numero di incidenti attribuibili a quest'ultimi. Di conseguenza, è necessario adottare metodologie di test rigorose per garantire la loro affidabilità, sicurezza e prestazioni. La validazione dei sistemi autonomi è la branca della verifica del software che si occupa di verificare e validare questo tipo di sistemi. I metodi di validazione tradizionali spesso non riescono ad affrontare adeguatamente le complessità insite nei sistemi autonomi, in particolare per quanto riguarda gli ambienti dinamici ed i comportamenti imprevedibili. Tuttavia, le metodologie che impiegano meta-euristiche possono superare le complessità di verifica dei sistemi autonomi imponendo meno ipotesi sulla struttura dei problemi nella ricerca di soluzioni praticabili. Il test del software basato sulla ricerca, combinato con le tecniche di AI spiegabile, possono contribuire ad aumentare la copertura dei test nei sistemi autonomi, rilevando guasti più diversi, caratterizzati da comportamenti diversi piuttosto che da segnali di ingresso diversi. Questa tesi esplora i test basati sulla ricerca e le tecniche di AI spiegabile per identificare guasti i più diversi possibile durante le simulazioni di sistemi autonomi. Gli approcci analizzati affrontano il problema come un'ottimizzazione in cui gli obiettivi sono rappresentati da metriche aggregate di quantità e diversità di guasti. Analisi dettagliate dimostrano che gli approcci guidati dal comportamento superano quelli tradizionali guidati dalla diversità degli ingressi, fornendo risultati superiori sia in termini di numero di fallimenti scoperti che di diversità degli ingressi e dei comportamenti. In particolare, queste analisi mostrano un aumento della diversità fino al 40% sulla base dei valori delle mediane e fino al 55% prendendo come riferimenti i terzo quantile, garantendo al contempo una quantità di tempo equo per ogni simulazione. L'approccio progettato facilita l'identificazione di guasti critici diversi tra loro nella validazione dei sistemi autonomi, garantendo un risparmio di costi e di tempo.