Physics-enhanced machine learning methods for industrial process modeling and optimization

The recent and significant developments in the field of digital technologies and Artificial Intelligence (AI) suggest their pervasive application even in the sector of capital goods and production systems. In particular, enablers such as smart sensors with local intelligence, machine networking, data mining techniques, and machine learning support the development of "Intelligent Machines". These will provide services in terms of production process monitoring, parameter optimization, and collaborative interaction with the operator, making them more autonomous, flexible, and efficient. This perspective is part of a well-defined National and European strategy that sees AI as one of the main tools for implementing the so-called Industry 4.0 Transition of production systems (PNRR). On the other side, according to the newer paradigm of Industry 5.0, Intelligent Machines are expected to be not only sustainable and resilient, but also "human-centric". Regarding this latter characteristic, we think there is ample room for developing automation approaches that involve sharing knowledge and control capabilities between the operator (more or less experienced) and the Intelligent Machine. This sharing is facilitated through a series of enabling technologies related to the world of AI. On these premises, this thesis is focused on modeling and optimization approaches for industrial processes that try to combine the generality and extrapolative capability of first-principle models (including the domain knowledge of experts) with the adaptive capabilities of data-driven methods, typical of machine learning. This would allow for achieving acceptable levels of accuracy even with limited data availability. These approaches can be framed in the paradigm of physics-informed, or physics-enhanced AI. Investigating Random Forest as a promising machine learning method suited to generate surrogate models in the case of small datasets, the problem of the global optimization of an objective function represented by this kind of model came to our attention. In particular, an original method to obtain an approximate global minimum at low computational complexity has been developed, resorting to the inherent structure of a Random Forest, which is traceable to a non-parametric model that partitions the feature space in convex orthotopes by applying binary splits on training data. Our approximate method shows optimality performances that are comparable to other exact approaches based on the solution of a Mixed Integer Linear Program, which entails a combinatorial complexity and cannot be applied to a large Random Forest operating in a high-dimensional feature space (curse of dimensionality). Then, seeking a way to increase the accuracy of the model in predicting the production quality class, a novel physics-informed learning approach for this problem is proposed. The approach relies on a hierarchical semi-supervised classification, where the training data, classified on the basis of the quality intervals of interest, are divided in a certain number of sub-clusters with respect to the process input parameters (primary features) and enhanced with the classification prediction provided by a physics-based model (apriori knowledge injection). To evaluate the effectiveness of the above-mentioned methodological achievements in the context of a real manufacturing setting, the centerless grinding production process has been considered. In the absence of proper experimental data, a high-fidelity model has been developed to generate a synthetic dataset, which is augmented with the predictions of a low-fidelity model representing the apriori physics-based knowledge about the process. The resulting dataset has been used both to grow a Random Forest and optimize its output, as well as to test the performance of the proposed Semi-supervised physics-informed classifier. Other state-of-the-art approaches to generating gray-box models have been evaluated, mostly based on Feed Forward Neural Networks. The results show the effectiveness of the proposed random forest optimization approach and quality classifier, especially dealing with a high-dimensional variable space. On the other side, the overall absolute performance of the hybrid models, in comparison with the pure data-driven counterpart, suffers from the smallness of the considered dataset with respect to the target behavioral complexity: the first principle predictions are not accurate enough to compensate for the lack of data.

I recenti e significativi sviluppi nel campo delle tecnologie digitali e dell’Intelligenza Artificiale (IA) ne suggeriscono un’applicazione pervasiva anche nel settore dei beni strumentali e dei sistemi di produzione. In particolare, abilitatori come sensori intelligenti con capacità elaborative locali, connettività tra macchine, tecniche di data mining e metodi di apprendimento automatico supportano lo sviluppo delle cosiddette “Macchine Intelligenti”. Queste forniranno servizi in termini di monitoraggio dei processi produttivi, ottimizzazione dei parametri e interazione collaborativa con l’operatore, rendendole più autonome, flessibili ed efficienti. Questa visione si inserisce in una strategia ben definita a livello nazionale ed europeo, che individua l’IA come uno degli strumenti principali per attuare la cosiddetta Transizione Industria 4.0 dei sistemi produttivi (PNRR). Dall’altro lato, secondo il nuovo paradigma dell’Industria 5.0, ci si aspetta che le Macchine Intelligenti siano non solo sostenibili e resilienti, ma anche “human-centric”. Riguardo a quest’ultima caratteristica, si ritiene che ci sia ampio margine per sviluppare approcci di automazione che prevedano la condivisione della conoscenza e delle capacità di controllo tra l’operatore (più o meno esperto) e la Macchina Intelligente. Questa condivisione è facilitata da una serie di tecnologie abilitanti legate al mondo dell’IA. Su queste premesse, la presente tesi è focalizzata su approcci di modellazione e ottimizzazione dei processi industriali che cercano di combinare la generalità e la capacità di estrapolazione dei modelli basati su principi fisici (includendo la conoscenza esperta del dominio) con le capacità adattive dei metodi data-driven, tipiche del machine learning. Ciò permetterebbe di ottenere livelli di accuratezza accettabili anche in presenza di una disponibilità limitata di dati. Questi approcci possono essere inquadrati nel paradigma dell’IA informata dalla fisica, o “physics-informed / physics-enhanced AI”. Esplorando le Random Forest come metodo di apprendimento automatico promettente per generare modelli surrogati in presenza di piccoli dataset, è stato affrontato il problema dell’ottimizzazione globale di una funzione obiettivo rappresentata da questo tipo di modello. In particolare, è stato sviluppato un metodo originale per ottenere un minimo globale approssimato con bassa complessità computazionale, sfruttando la struttura intrinseca delle Random Forest, che può essere ricondotta a un modello non parametrico che partiziona lo spazio delle feature in ortotopi convessi tramite divisioni binarie sui dati di training. Il nostro metodo approssimato mostra prestazioni di ottimalità comparabili con altri approcci esatti basati sulla risoluzione di un problema di programmazione lineare mista intera (MILP), il quale comporta una complessità combinatoria e non può essere applicato a una Random Forest di grandi dimensioni operante in uno spazio delle feature ad alta dimensionalità (curse of dimensionality). Successivamente, cercando un modo per aumentare l’accuratezza del modello nella previsione della classe di qualità di un prodotto, è stato proposto un nuovo approccio di physics-informed machine learning per questo problema. L’approccio si basa su una classificazione gerarchica semi-supervisionata, in cui i dati di training, classificati in base agli intervalli di qualità di interesse, vengono suddivisi in un certo numero di sotto-cluster rispetto ai parametri di ingresso del processo (feature primarie) e arricchiti con la previsione di classificazione fornita da un modello basato sulla fisica (iniezione di conoscenza a priori). Per valutare l’efficacia dei risultati metodologici sopra menzionati in un contesto reale di produzione, è stato considerato il processo produttivo di rettifica senza centri (centerless grinding). In assenza di dati sperimentali adeguati, è stato sviluppato un modello ad alta fedeltà per generare un dataset sintetico, che è stato poi arricchito con le previsioni di un modello a bassa fedeltà rappresentante la conoscenza a priori basata sulla fisica del processo. Il dataset risultante è stato utilizzato sia per addestrare una Random Forest e ottimizzarne l’output, sia per testare le prestazioni del classificatore semi-supervisionato informato dalla fisica proposto. Sono stati anche valutati altri approcci allo stato dell’arte per la generazione di modelli gray-box, principalmente basati su reti neurali feedforward. I risultati mostrano l’efficacia dell’approccio proposto di ottimizzazione basata su Random Forest e del classificatore di qualità, soprattutto in presenza di uno spazio delle variabili ad alta dimensionalità. D’altro canto, le prestazioni assolute complessive dei modelli ibridi, rispetto alla controparte puramente data-driven, risultano penalizzate dalla scarsità del dataset considerato rispetto alla complessità comportamentale attesa: le previsioni basate sui principi primi non sono abbastanza accurate da compensare la mancanza di dati.