Surrogate-based performance optimization for manufacturing systems

As the complexity of manufacturing systems increases, analytical methods, such as Markov chain and queuing theory, are not able to accurately estimate the system performance (e.g., throughput, inventory level, cost and service level). Thus, simulation is frequently used for performance evaluation of manufacturing systems. Nevertheless, the execution of the simulation model is usually time-consuming. Therefore, it is desired to obtain a good solution with a low simulation budget, i.e., few simulation model calls. This thesis aims to solve manufacturing system performance optimization problems, in which the estimation of the objective function value and/or the checking of the constraints satisfaction need to be carried out through a time-consuming simulation model. Surrogate-based optimization methods are commonly used for this type of problems. The surrogate-based optimization framework has three main contents: the selection of the surrogate modeling method, the generation of initial simulation points, and the determination of the next point to be simulated based on the constructed surrogate model. For the three main contents, three methods are developed in this thesis, combining multi-fidelity data from different sources (e.g., analytical methods, simulation models, data from the field), to make the framework more efficient. The main research contributions are: 1. Develop a multi-fidelity modeling method to construct a surrogate model from observed data to quickly predict the system performance at unknown points. A high-fidelity model (e.g., simulation), which is accurate but costly, is combined with low-fidelity models (e.g., analytical methods), which are fast but biased, to improve the prediction performance of the surrogate model constructed under sparse data. A data-driven scheme is embedded, in which the local prediction errors of different low-fidelity models are estimated through a distance-based kernel function, so as to automatically judge and select helpful low-fidelity models in different areas of the domain. This is to deal with the phenomenon that in the field of manufacturing, the analytical methods developed from different assumptions may have different prediction accuracy in different search areas. In addition, the theoretical prediction error of the developed method is derived, and it is also theoretically proved that under mild assumptions, the surrogate model constructed by the developed method will converge to the true function as the size of observed data increases. 2. Develop a general exploitation-focused initial design generator to concentrate initial simulation points in promising areas to improve the prediction performance of the initial surrogate model in these areas. The developed method is application-independent and it does not require additional simulation budget. Closed-form formulas are derived to iteratively sample the feasible solutions according to observed data, thus the developed method is easy to implement. It is theoretically proved that under specific assumptions, as the initial budget size increases, the generated design will converge to the design generated using the optimal sampling strategy derived through the optimality condition. Numerical experiments are performed to test the performance of the developed method and the effect of its parameters under different circumstances. 3. Develop a multimodal optimization method to find multiple global optimal solutions and high-quality local optimal solutions of the infill criterion function as the infill points (i.e., points to be simulated in the next iteration), so that the surrogate-based optimization can take advantage of parallel computing to run multiple simulations simultaneously. This method is proposed due to the fact that the infill criterion function, which is constructed from the surrogate model, usually has a multimodal behavior. The developed method partitions the feasible domain into smaller and smaller sub-regions by the rates related to the quality of the observed samples in different areas. Promising areas are partitioned faster than non-promising areas. Given the number of function evaluations, the developed method has a higher probability of capturing high-quality optimal solutions (i.e., optimal solutions with good objective function values) than capturing low-quality optimal solutions. Therefore, the budget wasted in refining low-quality local optimal solutions can be reduced. 4. A surrogate-based optimization method, composed of the three developed methods, is applied to an injector assembly system controlled by production authorization cards for the optimization of control parameters. Based on the characteristics of the system, a high-fidelity simulation model, suitable analytical methods and a deadlock detector are established for predicting the service level and the operating cost of the system. Besides, the three developed methods are modified according to the features of the problem. The numerical results show that the simulation budget is significantly saved by the proposed method in this case. The surrogate-based optimization framework is investigated in this thesis and three methods are developed to make the framework more efficient and reduce the required number of costly simulation model calls in the optimization process.

Con l'aumento della complessità dei sistemi di produzione, i metodi analitici, come la catena di Markov e la teoria delle code, non sono in grado di stimare con precisione le prestazioni del sistema (ad esempio, produttività, livello di inventario, costo e livello di servizio). Pertanto, la simulazione viene spesso utilizzata per la valutazione delle prestazioni dei sistemi di produzione. Tuttavia, l'esecuzione del modello di simulazione richiede solitamente molto tempo. Pertanto, si desidera ottenere una buona soluzione con un budget di simulazione basso, ovvero poche chiamate al modello di simulazione. Questa tesi mira a risolvere i problemi di ottimizzazione delle prestazioni del sistema produttivo, in cui la stima del valore della funzione obiettivo e/o la verificazione dei vincoli devono essere effettuati con un modello di simulazione che richiede tempo. I metodi di ottimizzazione basati su surrogati sono comunemente usati per questo tipo di problemi. Il framework di ottimizzazione surrogato ha tre contenuti principali: la selezione del metodo di modellazione surrogato, la generazione dei punti di simulazione iniziali e la determinazione del punto successivo da simulare in base al modello surrogato costruito. Per i tre contenuti principali, in questa tesi vengono sviluppati tre metodi, combinando dati multi-fedeltà provenienti da diverse fonti (ad esempio metodi analitici, modelli di simulazione, dati sul campo), per rendere il framework più efficiente. I principali contributi di ricerca sono: 1. Sviluppare un metodo di modellazione multi-fedeltà per costruire un modello surrogato dai dati osservati per prevedere rapidamente le prestazioni del sistema in punti sconosciuti. Un modello ad alta fedeltà (ad es. simulazione), che è accurato ma costoso, è combinato con modelli a bassa fedeltà (ad es. metodi analitici), che sono veloci ma distorti, per migliorare le prestazioni di previsione del modello surrogato costruito con dati sparsi . È incorporato un data-driven schema, in cui gli errori di previsione locale di diversi modelli a bassa fedeltà sono stimati attraverso una funzione del kernel basata sulla distanza, in modo da giudicare e selezionare automaticamente utili modelli a bassa fedeltà in diverse aree del dominio. Questo e’ per affrontare il fenomeno che nel campo della produzione, i metodi analitici sviluppati da diversi presupposti hanno una diversa accuratezza di previsione in diverse aree di ricerca. Inoltre, viene derivato l'errore di previsione teorica del metodo sviluppato, ed è anche teoricamente dimostrato che sotto ipotesi blande, il modello surrogato costruito dal metodo sviluppato convergerà alla vera funzione all'aumentare della dimensione dei dati osservati. 2. Sviluppare un generatore generale di progettazione iniziale che incentra sullo sfruttamento per concentrare i punti di simulazione iniziali in aree promettenti per migliorare le prestazioni di previsione del modello surrogato iniziale in queste aree. Il metodo sviluppato è indipendente dall'applicazione e non richiede un budget di simulazione aggiuntivo. Le formule in closed-form sono derivate per campionare in modo iterativo le soluzioni ammissibili in base ai dati osservati, quindi il metodo sviluppato è facile da implementare. È teoricamente dimostrato che sotto specifiche ipotesi, all'aumentare della dimensione del budget iniziale, il progetto generato convergerà al progetto generato utilizzando la strategia di campionamento ottimale derivata dalla condizione di ottimalità. Vengono eseguiti esperimenti numerici per testare le prestazioni del metodo sviluppato e l'effetto dei suoi parametri in diverse circostanze. 3. Sviluppare un metodo di ottimizzazione multimodale per trovare più soluzioni ottimali globali e soluzioni ottimali locali di alta qualità della funzione del criterio di riempimento come punti di riempimento (cioè punti da simulare nell'iterazione successiva), in modo che l'ottimizzazione basata su surrogato possa sfruttare il calcolo parallelo per eseguire più simulazioni contemporaneamente. Questo metodo è proposto perché la funzione del criterio di riempimento, che è costruita dal modello surrogato, ha solitamente un comportamento multimodale. Il metodo sviluppato suddivide il dominio fattibile in sottoregioni più piccole in base ai tassi relativi alla qualità dei campioni osservati nelle diverse aree. Le aree promettenti vengono suddivise più velocemente delle aree non promettenti. Dato il numero di valutazioni di funzione, il metodo sviluppato ha una maggiore probabilità di catturare soluzioni ottimali di alta qualità (cioè soluzioni ottimali con buoni valori di funzione obiettivo) rispetto a catturare soluzioni ottimali di bassa qualità. Pertanto, il budget sprecato nel perfezionare i soluzioni locali ottimali di bassa qualità può essere ridotto. 4. Un metodo di ottimizzazione surrogato, composto dai tre metodi sviluppati, viene applicato a un sistema di assemblaggio iniettori controllato da schede di autorizzazione alla produzione per l'ottimizzazione dei parametri di controllo. Sulla base delle caratteristiche del sistema, vengono stabiliti un modello di simulazione ad alta fedeltà, metodi analitici idonei e un rilevatore di deadlock per prevedere il livello di servizio e il costo di esercizio del sistema. Inoltre, i tre metodi sviluppati vengono modificati in base alle caratteristiche del problema. I risultati numerici mostrano che in questo caso il budget di simulazione viene significativamente risparmiato dal metodo proposto. In questa tesi viene studiato il framework di ottimizzazione basato su surrogato e vengono sviluppati tre metodi per rendere il framework più efficiente e ridurre il numero richiesto di costose chiamate di modelli di simulazione nel processo di ottimizzazione.