Some first thoughts on Openpilot as explainable AI system

In the recent years the capabilities of complex systems improved as much as they may help or even substitute humans in a lot of contexts most of which are very complex and contain a large number of variables. In addition the spread of knowledge and new discoveries in the Machine Learning and Artificial Intelligent fields allowed to develop innovative systems. Especially autonomous driving systems are the most fascinating and controversial ones. The reason of this double sided definition is related to the inadequacy and backwardness of regulations for Artificial Intelligent based systems. In fact from a technological point of view it is just a matter to put all together the pieces necessary to manage driving peculiarities. However, there are critical problems in case of unwanted situations in which it would be difficult to attribute responsibility and always maintain the same standard of judgment. Moreover people want to have explanations about how these systems take decisions in order to enforce the credibility of them. Studies about this last issue find place in the field of explainable AI. The objective of this thesis is to identify and understand the architecture, the organization and the approach in the development of such kind of systems in order to obtain a sort of reference model for further developments and see how programmers managed critical tasks to be implemented due to the complex working context. Furthermore it should be interesting to analyze the current regulations and recommendations provided by the European Community about systems able to make decisions autonomously and how to justify them. In order to reverse engineering the structure and implementation of a self driving system, this thesis in particular studies a system called Openpilot.

Negli ultimi anni le capacità di sistemi software complessi sono migliorate al punto di poter aiutare o sostituire gli umani in molti contesti complessi e governati da molte variabili. Inoltre la diffusione e le nuove scoperte nell’ambito dell’intelligenza artificiale e del Machine Learning hanno portato allo sviluppo di sistemi innovativi. In particolare i sistemi di guida autonoma sono i più affascinanti e controversi. Il motivo di questa doppia definizione è dovuta all’inadeguatezza e arretratezza delle leggi sui sistemi con elementi d’intelligenza artificiale. Infatti da un punto di vista tecnologico è necessario semplicemente radunare tutti gli elementi necessari per gestire le peculiarità della guida. Tuttavia, ci sono dei problemi rilevanti in caso di situazioni inaspettate in cui è difficile attribuire le responsabilità e mantenere sempre lo stesso metro di giudizio. Inoltre le persone, al fine di aumentare la credibilità nei confronti di questi sistemi, vogliono avere delle spiegazioni di come questi sistemi prendono autonomamente le decisioni. L’ambito delle explainable AI si occupa di studiare come poter dare queste spiegazioni. L’obbiettivo di questa tesi è di identificare e comprendere l’architettura, l’organizzazione e l’approccio nello sviluppo di questa tipologia di sistemi al fine di ottenere una sorta di riferimento per futuri sviluppi e valutare come i programmatori hanno gestito le attività più critiche da essere realizzare a causa del contesto complesso di lavoro. Inoltre è interessante analizzare le attuali leggi e raccomandazioni fornite dall’Unione Europea riguardanti sistemi capaci di prendere autonomamente decisioni e di come poterle giustificare. Al fine di comprendere la struttura e l’implementazione di un sistema di guida autonoma, questa tesi studia un sistema chiamato Openpilot.