Contractive and robust deep neural network in continuous time

In this thesis, we present a new class of deep neural networks in continuous time that can be used in different learning tasks, from classification problems to control applications such as continuous-time system identification and optimal control. The name of this architecture is: Recurrent Equilibrium Network Ordinary Differential Equations (REN-ODEs). This new class of neural networks consists of nonlinear dynamical systems that assures contractivity (a powerful form of stability) by design and can also guarantee incremental integral quadratic constraints (IQCs). IQCs are used to enforce properties of incremental dissipativity and passivity, as well as Lipschitz bounds. These properties provide robustness to the model. With this term we mean a mitigation of the sensitivity of the system's outputs with respect to small perturbations in the inputs. This feature is important in applications in which signals are affected by noise (e.g., system identification from real acquired data). Being contractive and robust by design means that the N parameters, characterizing a REN-ODE, are unconstrained. This property makes possible, during the learning phase, to use unconstrained iterative first-order optimization methods such as gradient descent (and its variations). The structure of the class is inspired by the Recurrent Equilibrium Networks (RENs) which, however, are formulated in discrete time. Moreover, the REN-ODE's architecture belongs to the family of Neural Ordinary Differential Equations (Neural-ODEs). As a result, REN-ODEs inherit all the advantages of Neural-ODEs, including the possibility to use modern and sophisticated ODE solvers for the evaluation of the model's trajectories. Furthermore, latest ODE solvers can provide high level of precision and adapt the evaluation strategy on the fly to achieve the requested level of accuracy. In this work, the properties of contractivity and robustness are validated on a nonlinear system identification problem and an optimal control task. Moreover, we evaluate the performance of the REN-ODEs over benchmark binary classification problems.

In questa tesi presentiamo una nuova classe di reti neurali profonde in tempo continuo che può essere utilizzata in diversi compiti di apprendimento, da problemi di classificazione ad applicazioni di controllo come l'identificazione di sistemi in tempo continuo e il controllo ottimale. Il nome di questa architettura è: Recurrent Equilibrium Network Ordinary Differential Equations (REN-ODEs). Questa nuova classe di reti neurali consiste d sistemi dinamici non lineari che assicurano la contrattività (una potente forma di stabilità) per costruzione e possono anche garantire vincoli integrali quadratici incrementali (IQCs). Gli IQCs sono utilizzati per imporre le proprietà di dissipatività e passività incrementale, nonché le costanti di Lipschitz. Queste proprietà conferiscono robustezza al modello. Con questo termine si intende un'attenuazione della sensibilità delle uscite del sistema rispetto a piccole perturbazioni negli ingressi. Questa caratteristica è importante nelle applicazioni in cui i segnali sono influenzati dal rumore (ad esempio, l'identificazione del sistema da dati acquisiti). Essere contrattivi e robusti per costruzione significa che gli N parametri che caratterizzano un REN-ODE non sono vincolati. Questa proprietà rende possibile, durante la fase di apprendimento, l'utilizzo di metodi di ottimizzazione iterativa del primo ordine non vincolati, come ad esempio la discesa del gradiente (e le sue varianti). La struttura della classe si ispira alle Reti di Equilibrio Ricorrenti (REN) che, tuttavia, sono formulate in tempo discreto. Inoltre, l'architettura delle REN-ODE appartiene alla famiglia delle equazioni differenziali ordinarie neurali (Neural-ODE). Di conseguenza, le REN-ODE ereditano tutti i vantaggi delle Neural-ODE, compresa la possibilità di utilizzare moderni e sofisticati solutori di ODE per la valutazione delle traiettorie del modello. Inoltre, i più recenti solutori ODE sono in grado di fornire un elevato livello di precisione e di adattare al volo la strategia di valutazione per raggiungere il livello di accuratezza richiesto. In questo lavoro, le proprietà di contrattività e robustezza vengono convalidate su un problema di identificazione di un sistema non lineare e su un caso di controllo ottimale. Inoltre, valutiamo le prestazioni dei REN-ODE su problemi di classificazione binaria basati su benchmark presi dalla letteratura.