In-context learning of controllers

In this thesis we aim at addressing two fundamental issues individuated in the established model-free control framework: first, the need of pre-selecting a family from which the controller will be drawn, which may not be well-suited to the specific system at hand, and second, the lack of methodologies that enable to leverage useful information from already solved control tasks. To address these limitations, we introduce the in-context controller, built on a Transformer model. The Transformer, recognized as one of the most powerful deep learning architec- tures, is well-suited for controlling highly complex systems. Additionally, its in-context learning capabilities allow it to use contextual information acquired during training. The in-context controller is trained using a curriculum learning approach, progressively tack- ling model reference control tasks of increasing difficulty. The training dataset is generated through simulations of various, yet closely related, dynamical systems. Expanding beyond traditional model-free control methods, our approach results in a controller that is able to learn an internal representation of an entire class of dynamical systems and can be directly deployed to control any new system within this class, without system-specific tuning or additional data.

In questa tesi ci proponiamo di affrontare due problematiche fondamentali individuate nell’ ambito delle tradizionali tecniche di controllo model-free: la prima è la neces- sità di selezionare a-priori una famiglia dalla quale sarà scelto il controllore, che potrebbe non essere adatta allo specifico sistema da controllare; la seconda riguarda la mancanza di metodologie che permettano di sfruttare informazioni utili da problemi di controllo già risolti. A tal proposito, introduciamo il controllore in-context, basato su una rete neurale Transformer. Il Transformer, riconosciuto come una delle architetture di deep learning più potenti, è particolarmente adatto al controllo di sistemi altamente complessi. Inoltre, le sue capacità di apprendimento in-contex gli consentono di sfruttare informazioni con- testuali acquisite durante la fase di allenamento. Il controllore in-context viene allenato seguendo un approccio di curriculum learning, affrontando progressivamente problemi di controllo model reference di difficoltà crescente. Il dataset di allenamento è generato tramite simulazioni con sistemi dinamici diversi, ma strettamente correlati tra loro . Es- pandendo l’ambito dei tradizionali metodi di controllo model-free, il nostro approccio genera un controllore che è in grado di imparare una rappresentazione interna di un’intera classe di sistemi dinamici e può essere direttamente utilizzato per controllare qualsiasi nuovo sistema ap- partenente a questa classe, senza necessità di ottimizzazioni specifiche per tale sistema, o dati ad esso relativi.