A methodolgy for the reliability analysis and the efficient hardening of Convolutional Neural Networks

Convolutional Neural Networks (CNNs) usage has been steadily increasing in the last decade, especially for perception functionalities in both safety-critical systems and not. An example of this phenomenon are the Autonomous Driving Systems (ADS), a set of high-level functionalities to substitute the human driver. Multiple ADS components, such as image recognition for the detection of street signs or steering angle detection, integrate CNNs due to their ability to deal with images and video inputs. Due to the high relevance of these components, the effects of faults striking them would be disastrous for the users’ lives. For this reason, design principles for digital systems in safety-critical applications are strictly regulated by standards such as ISO 26262. Similarly, the Society of Automotive Engineers (SAE) regulates ADS functionalities. Both standards require a high level of reliability and fault detection mechanisms. It is thus necessary to be able to analyze the reliability and robustness of a given CNN to identify the most promising ways to harden the processing system. Moreover, it is crucial to perform such an analysis at the early stages of the development flow to give fast feedback for design refinements. From a literature review emerges that the currently available tools of analysis present various limitations, either technological or methodological ones. In this thesis, we selected an existing error simulator for CNNs called CLASSES with the goal of improving and adopting it to design a reliability analysis methodology. We then designed and executed an error simulation campaign using CLASSES targeting a set of CNNs used in the ADS field. The objectives of this campaign were twofold: validate the framework’s effectiveness and assess the robustness against faults of multiple CNNs. We then defined a hardening strategy for CNNs capable of exploiting in an automated and effective way information produced by CLASSES.

L’uso di Reti Neurali Convolutive (RNC) è cresciuto costantemente nell’ultima decade, in particolare per quanto riguarda le funzionalità di percezione in sistemi safety-critical e non. Un esempio di questo fenomeno è rappresentato dal settore dei sistemi di Guida Autonoma. Un set di funzionalità di alto livello con lo scopo di sostituire, parzialmente o totalmente, il guidatore umano. Molti componenti di questi sistemi integrano RNC per via delle loro capacità di elaborare immagini o input audiovisivi. Esempi di queste funzionalità comprendono il riconoscimento di immagini per il riconoscimento di cartelli stradali o la predizione dell’angolo di rotazione del volante a partire da telecamere a inquadratura frontale. Per via dell’importanza di questi componenti l’effetto di guasti che li colpiscano sarebbe disastroso per la vita degli utenti del sistema. Per questo motivo i principi di progettazione di sistemi digitali usati in applicazioni safety-critical sono strettamente regolati da standard come ISO 26262 e analogamente la Society of Automotive Engineers (SAE) regola le funzionalità dei sistemi di guida autonoma. Entrambi gli standard richiedono un alto livello di affidabilità e meccanismi di rilevamento dei guasti. È quindi necessario essere in grado di analizzare l’affidabilità e la robustezza di qualsiasi RCN per identificare le modalità più efficienti di irrobustimento di questi sistemi. Inoltre, è cruciale poter effettuare questo tipo di analisi negli stadi iniziali dello sviluppo per fornire feedback rapidi al processo di design. Da una review della letteratura emerge che gli stumenti di analisi attualmente disponibili presentano varie limitazioni, sia di tipo tecnologico che di tipo metodologico. In questa tesi abbiamo selezionato un simulatore di errori per RNC esistente chiamato CLASSES con il goal di migliorarlo e adottarlo nello sviluppo di una metodologia di analisi dell’affidabilità. Abbiamo quindi ideato ed eseguito una campagna di simulazione di errori per dimostrarne la fattibilità e abbiamo usato i risultati per definire una strategia di irrobustimento per RNC efficiente.