On data-driven optimization in the design and control of autonomous systems

In numerous science and engineering contexts, there are optimization problems whose objective and/or constraint functions are not given explicitly, i.e., they are black-box. In other words, the only way they can be evaluated is through expensive simulations and/or experiments. Such problem settings arise in various applications where the systems under test contain different physical mechanisms (electro-mechanical, hydrodynamic, pneumatic, biological) interacting with each other, as well as with the environment. This dissertation addresses this concern by using the Set Membership (SM) framework for the first time to design a black-box optimization method. The resulting algorithm, called the Set Membership Global Optimization (SMGO), builds the SM-based models of the objective (and if required, also constraints) using a Lipschitz continuity assumption. These models are then used to strategically choose a sampling point from a set of candidate points. In choosing a candidate point for sampling, SMGO automatically trades off between exploitation of the current best feasible data point, and exploration around the search space to acquire more information about the shape of the pertinent hidden functions. We investigate the theoretical properties of SMGO, and we lay out sufficient conditions on the candidate points to guarantee convergence to a global optimum. Practically-motivated concerns regarding the treatment of noise and computational complexity are considered, and methods to address such issues are discussed. Furthermore, an extension to time-varying functions is discussed, and a novel approach for the forgetting-remembering trade-off is proposed by directly using the SM-based bounds. The effectiveness of the proposed SMGO is verified and validated in the context of a synthetic benchmark test, comparing it against other commonly-used optimization methods. Time-invariant black-box optimization problems are considered, as well as time-varying ones. The results of the tests demonstrated the competitiveness of SMGO with regards to the iteration-based performance, and computational burden. Lastly, we present in this work several case studies, in various levels of design difficulty. As a simple case study, we consider the tuning of a model predictive controller for a servo motor to satisfy high-level task objectives and constraints. Furthermore, we use SMGO to experimentally tune a robotic gearshift mechanism, and we demonstrate its merits on the performance and convergence compared to other tuning techniques. Lastly, we tackle the difficult engineering problem of designing a combined passive-active attitude control for a small spacecraft, considering non-trivial mission objectives and high-level constraints. Simulation results and statistical tests show that SMGO resulted in the best spacecraft design, in comparison with other commonly-used design approaches in the literature and engineering practice.

In numerosi contesti scientifici e ingegneristici, esistono problemi di ottimizzazione le cui funzioni dell’obiettivo e/o del vincolo non si danno esplicitamente, ossia sono black-box. In essenza, possono essere valutate utilizzando soltanto simulazioni costose e/o esperimenti. Tali problemi si presentano in varie applicazioni in cui i sistemi da analizzare coinvolgono l’interazione tra diversi meccanismi fisici (elettromeccanici, idrodinamici, pneumatici, biologici) con l’un l’altro o con l'ambiente. Questa tesi affronta questo problema utilizzando per la prima volta il quadro Set Membership (SM) per progettare un metodo di ottimizzazione black-box. Il risultante algoritmo di nome Set Membership Global Optimization (SMGO) costruisce i modelli in base all’SM dell'obiettivo (e i vincoli, se necessario) utilizzando un'ipotesi di continuità Lipschitz. Questi modelli vengono poi utilizzati per scegliere strategicamente un punto di campionamento da un insieme di punti candidati. Nella scelta di un punto candidato per il campionamento, SMGO effettua automaticamente un compromesso tra lo sfruttamento del miglior punto dati attualmente fattibile e l'esplorazione dello spazio di ricerca per acquisire maggiori informazioni sulla forma delle funzioni nascoste pertinenti. Analizziamo le proprietà teoriche di SMGO e definiamo le condizioni sufficienti sui punti candidati per garantire la convergenza a un ottimo globale. Vengono prese in considerazione le questioni pratiche relative al trattamento del rumore e alla complessità computazionale e vengono discussi i metodi per affrontarli. Inoltre, viene discussa un'estensione alle funzioni variabili col tempo e viene proposto un approccio innovativo per il forgetting-remembering tradeoff, utilizzando direttamente i limiti basati su SM. L'efficacia dell'algoritmo proposto viene verificata e convalidata nel contesto di un test di benchmark sintetico, confrontandolo con altri metodi di ottimizzazione comunemente utilizzati. Sono considerati problemi di ottimizzazione black-box invarianti col tempo nonché quelli varianti col tempo. I risultati dei test hanno dimostrato la competitività di SMGO per quanto riguarda la prestazione basata sull'iterazione e il carico computazionale. Infine, in questo lavoro presentiamo diversi casi di studio di vari livelli di difficoltà progettuale. In quanto un caso di studio semplice, consideriamo la messa a punto di un Model Predictive Controller per un servomotore, al fine di soddisfare obiettivi e vincoli di alto livello. Inoltre, utilizziamo SMGO per mettere a punto un meccanismo di cambio robotizzato in maniera sperimentale e ne mostriamo i meriti in termini di prestazione e convergenza rispetto ad altre tecniche di messa a punto. Infine, affrontiamo il difficile problema ingegneristico di progettare un controllo d'assetto passivo-attivo combinato per un piccolo veicolo spaziale, considerando obiettivi di missione difficili e vincoli di alto livello. I risultati delle simulazioni e i test statistici dimostrano che SMGO ha sviluppato il miglior progetto di un veicolo spaziale, rispetto ad altri approcci di progettazione comunemente utilizzati in letteratura e nella pratica ingegneristica.