Enhanced and extended version of rqlif method for derivative free optimization with costly objective function

In many decision making problems arising in various fields of application one has to optimize a possibly noisy objective function available only as the output of a black box, requiring e.g. complex simulations or heavy numerical procedures. In such settings derivative free methods are needed because it is in general too expensive to extract gradient information. In this thesis we present and investigate enhanced variants and extensions of the derivative-free local search rqlif method recently proposed by Manno et al. , which exploits a regularized quadratic model and a linear implicit filtering strategy, and is well-suited for problems with costly black-box possibly noisy objective function subject to box constraints. The first part of this work is devoted to the investigation of alternative approaches for the two main components of rqlif, namely for the quadratic and the linear steps. Extensive experiments are carried out on different sets of analytical test problems to compare the variants and evaluate their performance. The computational results show that some strategies, in particular the iterative trust region variants, yield a substantial improvement with respect to rqlif. The second part of this work is devoted to an extension of rqlif to costly and possibly noisy black box optimization problems subject to general linear constraints. Computational experiments are carried out on sets of noisy and noise free instances. Overall on the test problems our extended method provides good quality solutions within a limited number of function evaluations and it competes reasonably well even with the state of the art patternsearch algorithm of Matlab.

In molti problemi derivanti da vari campi di applicazione si deve ottimizzare una funzione obbiettivo,eventualmente rumorosa, disponibile solo come output di un sistema black box, richiedendo simulazioni complesse o pesanti procedure numeriche. In tali circostanze sono necessari metodi senza derivate poichè in generale è troppo costoso estrarre informazioni sul gradiente. In questa tesi presentiamo e analizziamo varianti e estensioni del metodo derivative free di ricerca locale rqlif, proposto da Manno et al., che sfrutta un modello quadratico regolarizzato e una strategia di linear implicit filtering ed è adatto per problemi black box,eventualmente rumorosi,con vincoli di tipo box. La prima parte di questa tesi è dedicata allo studio di approcci alternativi per le due componenti principali del metodo rqlif,ossia i passi quadratico e lineare. Per confrontare le varianti e valutarne le prestazioni sono stati fatti molti esperimenti su diversi insiemi di problemi analitici di test. I risultati computazionali mostrano che alcune strategie,in particolar modo le varianti trust region iterative apportano un significativo miglioramento rispetto a rqlif. La seconda parte della tesi è dedicata a un' estensione di rqlif a costosi problemi di ottimizzazione black box,soggetti in generale a vincoli lineari. Gli esperimenti computazionali sono stati fatti su differenti istanze (rumorose e non) con vincoli lineari. Complessivamente sui problemi test il nostro metodo esteso fornisce soluzioni di buona qualità in un numero limitato di valutazioni di funzione e compete ragionevolmente bene anche con l'algoritmo patternsearch di Matlab allo stato dell' arte.