Design of internal model control systems with recurrent neural networks

In the last years the usage of Neural Networks (NNs) had a strong increase, assuming a central role in our nowadays life (just think about the unlock system of a smartphone through face recognition, or image processing and voice recognition). Indeed, NNs are able to solve many different tasks with a certain accuracy that, from a computational point of view, require a high cost if performed in other ways without neural networks. However, NNs find a limited practical usage in the control system world, especially for the high number of data required for the network training, that is not always available (the accuracy of a NN is strongly related to its training, i.e. to the used dataset). Nevertheless the high potentialities of neural networks, such as their capability to mimic a plant behaviour (or acting as a controller) and their versatility, suggest us that their usage for the design of control schemes may lead to interesting and positive results. Let us notice that nowadays there exist different kinds of neural networks, each one characterised by pros and cons. The two main classes of NNs are the FeedForward NNs (FFNNs) and the Recurrent NNs (RNNs): the former is used for different operations, such as classification tasks (e.g. image classification), while the latter is adopted for predictive analysis through the examination of (time-series) data (e.g. for hand-written digits recognition and voice recognition). The aim of this Thesis is to provide first of all a general overview on the neural networks world (focusing in particular on RNNs and FFNNs), discussing their structure and their working behaviour, highlighting more specifically how the training operation is performed (adopted algorithms and data collection). Then, we will deal with the performances that RNNs are able to provide in terms of real system modelling, pointing out the differences due to NN structure changes (as the type of cell, the number of units and layers and so on). As previously mentioned, neural networks can be used inside control schemes (for example as model or controller) in order to ensure the tracking of reference signals imposed to a given plant (in our case, a nonlinear MIMO system): this is why an Internal Model Control (IMC) scheme will be considered, characterised by two RNNs, one for the model and one for the controller (for the latter, a guideline for its training will be proposed). Hence, neural networks can have a role as model of the system we deal with, and as controller of this one, ensuring good (but not ideal, if not under specific assumptions) performances in terms of tracking task accuracy.

Negli ultimi anni l'utilizzo delle reti neurali (NN) ha avuto un forte incremento, fino a diventare parte integrante delle nostre vite (si pensi per esempio al sistema di sblocco di uno smartphone tramite riconoscimento facciale, piuttosto che l'elaborazione di immagini o il riconoscimento vocale). Di fatto, le reti neurali sono in grado di risolvere (con una precisione più o meno elevata) molti compiti che da un punto di vista computazionale richiederebbero altrimenti un costo estremamente elevato. Tuttavia, questo tipo di reti risulta trovare poca applicazione pratica in quello che è il mondo del controllo di sistemi reali, soprattutto per l'elevata quantità di dati necessari al loro corretto addestramento, i quali non sempre sono disponibili. Ciò nonostante, le grandi potenzialità delle reti neurali, quali la capacità di imitare il comportamento di un impianto (piuttosto che quello di un controllore) e la loro elevata versatilità, ci suggeriscono che il loro impiego all'interno di schemi di controllo potrebbe portare a risultati molto positivi. È bene precisare che al giorno d'oggi esistono diversi tipi di reti neurali, ognuna caratterizzata da pro e contro. Le due principali categorie sono le reti neurali feedforward (FFNN) e le reti neurali ricorrenti (RNN): le prime hanno applicazioni in diversi settori, uno dei quali è quello della classificazione (per esempio image classification), mentre le reti neurali ricorrenti sono maggiormente adatte per effettuare operazioni di analisi predittiva tramite l'analisi di dati, ad esempio operazioni come il riconoscimento di lettere scritte a mano o il riconoscimento vocale. Lo scopo di questa Tesi è quindi quello di fornire prima di tutto un'introduzione al mondo delle reti neurali (sia FFNN che RNN), discutendone la struttura e il funzionamento, sottolineando soprattutto come viene effettuato l'addestramento (algoritmi utilizzati e preparazione dei dati necessari). Dopodiché, ci si concentrerà sulle prestazioni che le reti neurali ricorrenti sono in grado di fornire nella modellizzazione di un sistema fisico reale, mettendo in evidenza le differenze legate all'utilizzo di diverse strutture. Come precedentemente anticipato, le reti neurali possono essere utilizzate all'interno di schemi di controllo per garantire il tracking di segnali di riferimento imposti ad un dato sistema (nel nostro caso un sistema MIMO non lineare): per questo motivo, la loro applicazione in uno schema di controllo di tipo Internal Model Control (IMC) verrà presa in esame, considerando due reti neurali ricorrenti, una per il modello e una per il controllore (per cui sarà proposta una linea guida inerente al suo training). Le reti neurali perciò possono avere un ruolo sia come modello del sistema con cui ci si interfaccia, sia come controllore di quest'ultimo, andando a garantire buone (ma non ideali, se non considerando ipotesi stringenti) prestazioni in termini di accuratezza di tracking dei segnali di riferimento.