A new combined approach for model class selection and parameters learning for nonlinear dynamical systems

The goal of this thesis is to introduce an innovative approach for the combined selection of model structure and parameter learning in the context of the identification of nonlinear dynamical systems. We focus on black-box parametric nonlinear models, such as recurrent neural networks (RNN) and nonlinear output error models. This proposed method employs set-membership identification, assuming noise is confined within a known bound. This enables the determination of a set of all feasible model parameterizations consistent with the system data, known as the Feasible Parameter Set (FPS). A novel quality index, called set-distance facilitates parameter selection from the FPS and performance comparison across different model classes. The set-distance metric quantifies the quadratic distance between the tube (including all possible system outputs within the noise bounds) and the closest simulated output from the various parameterizations. This provides a rigorous, quantitative method for evaluating model performance and parameter selection. The model selection algorithm proposed in the thesis, inspired by state-of-the-art methods for polynomial models, iteratively adds significant features and removes less significant ones. It comprises an outer loop for feature inclusion or exclusion and an inner loop for parameter learning, using the set membership approach to define the FPS and the set-distance metric to identify the optimal parameterization. The method has been tested on Polynomial models with Nonlinear Output Error (PNOE) and Nonlinear Auto-Regressive with eXogenous inputs Echo-State Networks (NARXESN), demonstrating its effectiveness for both model families.

L'obiettivo di questa tesi è introdurre un approccio innovativo per la selezione combinata della struttura del modello e l'apprendimento dei parametri nel contesto dell'identificazione dei sistemi dinamici non lineari. Ci concentriamo su modelli parametrici non lineari di tipo black-box, come le Recurrent Neural Networks (RNN) e i Nonlinear Output Error (NOE) models. Questo metodo proposto impiega l'identificazione a insiemi, assumendo che il rumore sia confinato entro un limite noto. Ciò consente di determinare un insieme di tutte le parametrazioni del modello fattibili coerenti con i dati del sistema, noto come Feasible Parameter Set (FPS). Un nuovo indice di qualità, chiamato set-distance, facilita la selezione dei parametri dal FPS e il confronto delle prestazioni tra diverse classi di modelli. La metrica della set-distance quantifica la distanza quadratica tra il tubo (incluso tutti i possibili output del sistema entro i limiti del rumore) e l'output simulato più vicino dalle varie parametrazioni. Questo fornisce un metodo rigoroso e quantitativo per valutare le prestazioni del modello e la selezione dei parametri. L'algoritmo di selezione del modello proposto nella tesi, ispirato ai metodi all'avanguardia per i modelli polinomiali, aggiunge iterativamente caratteristiche significative e rimuove quelle meno significative. Comprende un ciclo esterno per l'inclusione o l'esclusione delle caratteristiche e un ciclo interno per l'apprendimento dei parametri, utilizzando l'approccio di identificazione a insiemi per definire il FPS e la metrica della set-distance per identificare la parametrazione ottimale. Il metodo è stato testato su modelli NOE polinomiali (PNOE) e Nonlinear Auto-Regressive with eXogenous inputs Echo-State Networks (NARXESN), dimostrando la sua efficacia per entrambe le famiglie di modelli.