A randomized model structure selector for complex dynamical systems

This thesis addresses the problem of choosing suitable model structures for dynamical systems when the data-driven model learning is pursued with parametric methods. The model structure selection (MSS) problem is known to be challenging due to its combinatorial nature which requires in principle to exhaustively search for the model terms to be included into the model within a space that might be large. Accordingly, many strategies have been proposed with the aim of exploring in a smart way the model structure space, ranging from greedy incremental policies, regularization based techniques, evolutionary methods, and probabilistic approaches. This thesis extends a recent randomized approach based on a probabilistic reformulation of the MSS problem for nonlinear systems, to the case of distributed data, switched nonlinear systems, and also to the estimation of the process covariance matrix in Kalman filter applications. When data are distributed among multiple agents and cannot be made centrally available, the MSS and the parameter estimation tasks have to be solved cooperatively. Within the NARX modeling framework, we address this issue by resorting to a distributed scheme which aims at reaching a common value for both the model structure and the parameter estimates in an integrated fashion, taking advantage from the probabilistic reformulation of the MSS problem. Switched (nonlinear) systems are characterized by the interaction between continuous and discrete dynamics, the former representing the system behavior in different operational conditions (modes), indexed by a discrete switching signal. In this case, the MSS problem encompasses the selection of a model structure for each mode, and also the reconstruction of the switching signal. Unfortunately, since switchings can occur arbitrarily in time, the model structure space grows rapidly with the number of data, thus aggravating significantly the MSS problem. This thesis proposes an iterative identification method which alleviates the combinatorial complexity by adopting a two-stage approach. More precisely, in the first stage, candidate mode switching instants are fixed and adopted to jointly reconstruct the switching signal and solve the NARX structure and parameter identification via a sample-and-evaluate strategy; in the second stage, the positioning of the switching instants is refined. Data-driven model learning plays an important role also in the Kalman filtering context, where the output and process noise statistics are generally unknown and must to be estimated from data. A particularly challenging problem is the estimation of the process noise statistics that account for the unmodeled dynamics on which typically no prior knowledge is available. This thesis addresses the problem of choosing a suitable parameterization for the process noise covariance matrix, viewing it as a specialization of a classical MSS problem. The solutions we proposed in this thesis to the three mentioned problems are supported by the results obtained in several simulation studies.

In questa tesi si affronta il problema relativo alla selezione della struttura del modello (MSS, dall'inglese Model Structure Selection) di un sistema dinamico, quando l'apprendimento del modello basato sui dati è perseguito con metodi parametrici. Come noto, il tentativo di dare soluzione a tale problema risulta particolarmente arduo a causa della natura combinatoria dello stesso che, in linea di principio, richiede di esplorare in modo esaustivo lo spazio delle possibili strutture di modello, al fine di selezionare la migliore. Tale spazio cresce però rapidamente all'aumentare del numero dei termini di modello considerati, rendendo l'approccio esaustivo applicabile solo su problemi a ridotta scala. Sono state pertanto proposte svariate strategie con l'obiettivo di esplorare in modo intelligente lo spazio delle strutture di modello: euristiche basate su una costruzione incrementale della struttura, algoritmi ispirati al principio della selezione naturale ed evoluzione biologica, tecniche basate su regolarizzazione, nonché approcci probabilistici. Seguendo tale ultima impostazione, questa tesi estende un recente approccio probabilistico originariamente proposto per la risoluzione del problema MSS nel caso di sistemi non lineari, al caso di dati distribuiti, sistemi non lineari commutati e anche alla stima della matrice di covarianza di processo in applicazioni basate sul filtro di Kalman. Nel caso in cui i dati siano distribuiti tra più agenti e non possano essere raccolti in un’unità centrale - come generalmente si assume nei problemi di apprendimento del modello basato sui dati - il problema MSS e la stima dei parametri devono essere risolti in modo cooperativo. Considerando modelli parametrici appartenenti alla famiglia NARX, in questa tesi si affrontano, dunque, queste due problematiche ricorrendo a uno schema risolutivo di tipo distribuito che mira a raggiungere congiuntamente un valore comune tra gli agenti sia per la struttura del modello che per le stime dei parametri, sfruttando la riformulazione probabilistica del problema MSS. I sistemi (non lineari) a commutazione sono caratterizzati da dinamiche continue che rappresentano il comportamento del sistema in diverse condizioni operative (modalità), indicizzate da un segnale di commutazione discreto. In questo caso, il problema MSS comprende la selezione di una struttura di modello per ciascuna modalità e anche la ricostruzione del segnale di commutazione. Sfortunatamente, poiché le commutazioni di modalità possono avvenire in modo arbitrario nel tempo, lo spazio delle strutture di modello cresce rapidamente con il numero di dati, aggravando così in modo significativo il problema MSS. Questa tesi propone, al riguardo, un metodo di identificazione iterativo che allevia la crescente complessità combinatoria adottando un approccio a due fasi, che possono essere così sintetizzate: nella prima fase, la ricostruzione del segnale di commutazione, la selezione delle strutture NARX e la stima dei parametri sono risolte congiuntamente mediante una strategia di campionamento-e-valutazione, fissando a priori i possibili istanti di commutazione; nella seconda fase, il posizionamento degli istanti di commutazione viene perfezionato sulla base delle prestazioni del modello ottenuto nella fase precedente. L'apprendimento di modelli basato sui dati svolge un ruolo importante anche nel contesto del filtraggio, in quanto le statistiche sul rumore di output e di processo, necessarie per la formulazione del filtro di Kalman, sono generalmente sconosciute e devono essere pertanto stimate dai dati. Un problema particolarmente impegnativo è la stima delle statistiche del rumore di processo che tiene conto delle dinamiche di sistema non modellate e su cui in genere non è disponibile alcuna conoscenza a priori. Questa tesi affronta il problema di selezionare una parametrizzazione adatta per la matrice di covarianza del rumore di processo, considerando questo problema come un caso particolare del problema MSS.