Learning-based soft sensing and prediction for industrial applications

In many industrial processes, some key quality variables are difficult to measure due to harsh environment, high temperature or magnitude, or high artificial operation and device cost. However, there may be some link between these complex coupled process variables which inspires us to develop some nonlinear mapping models to solve these issues. This thesis focuses on the development of soft sensing and prediction frameworks for two industrial processes. With the data-driven machine learning methods, these hard-to-measure processes can be identified by the easy-to-measure process variables, which are named as "soft sensor" models. However, the process industry needs an accurate prediction that could provide information on the production situation, production monitoring, production efficiency improvement, and safety hazards avoidance. Accurate prediction can also provide information for control strategies. Explicitly, the proposed soft sensing and prediction algorithms are disseminated through the following two industrial case studies. Industrial Case I: Aluminum electrolysis process is a multi-variable coupled, harsh environment, with large time delay. Therefore, it is hard to measure the complex key-quality variables due to the complex reaction mechanism. Furthermore, the cost of direct manual detection would cause inaccurate detection and high cost. In many industrial models, accelerating the inference ability and the speed in the massive model is commonly the bottleneck. Model aggregation is the main method that can be used to reduce the computational burden on the system. Knowledge distillation is a popular topic that transfers knowledge from the teacher network to the student network, making the student network a superior model for learning using soft labels. When multiple teacher nets are available, the interpolation ability of the whole model would be improved, thus producing a more robust state-of-the-art model. However, the main existing methods are using the single teacher net single student net architecture or using the same weight allocation for every teacher net. In this part, we present a novel adaptive dual architecture. The proposed architecture leverages the complexity of training images and differences in student model capability; adaptively allocating weights between multiple teacher nets can lead to better performance of the distilled student model. To make a better selection performance, reinforcement learning for the controller/agent policy framework is also given. The proposed framework implements the systematically dynamic weight allocation to teacher models for different training samples and finally optimizes the performance of the student model in an iterative way. The proposed method also guarantees convergence, robustness, and feasibility. Finally, the effectiveness and efficacy are demonstrated by the practical industrial aluminum case. Industrial Case II: Underflow concentration is an important factor that reflects the performance of the deep cone thickener control and optimization. However, the existing measurement cannot meet the high quality of the prediction. Additionally, measurement error is hard to quantify with an inaccurate device, a harsh environment, and manual operation cost. Therefore, the significance of the study of underflow concentration prediction and forecasting has a great value for industrial applications. The validation and verification of these proposed methods are based on two different process industry cases: The mining paste filling process and aluminum electrolysis. Due to inaccuracy and significant disturbance of the complex and harsh environment in actual industrial processes, traditional sensor devices ignore the model error and hardly measure the certainty of key quality variables. However, in practical industrial thickener cone systems, the underflow concentration is estimated using normal regression models that minimize the residual mean square error to obtain a point estimate of some interdependent variables. The recursive strategy also causes residual error accumulation, which degrades the accuracy of recursive-based prediction models. Furthermore, the complex high-quality features representation is critical to obtain an accurate prediction model, while the multiple horizon prediction is required for the hierarchical optimal control. This thesis provides a novel efficient data-driven forecaster framework for predicting the concentration of deep cone thickeners. The designed model implements direct data-driven regression prediction while fully exploiting the temporal machine learning model's ability to extract features. Additionally, instead of the probabilistic Bayesian model, which is more efficient in implementation and deployment, the proposed framework is used to quantify uncertainty forecast using interval prediction. At last, the presented model directly predicts the multiple horizons, compared to the traditional recursive single point forecasting, which is much more training-efficient and memory-efficient. The above three characteristics will be demonstrated and verified by an industrial experimental deep cone thickener, the performance is thoroughly compared to other state-of-the-art counterparts. In summary, this thesis deals with the problem of developing soft sensor and prediction frameworks to solve practical tasks in the aluminum electrolysis industry and the mining paste-filling industry. For more abstract details, please refer Abstract of Paper A- Paper E.

Nei molti processi industriali, alcune variabili chiave di qualità sono difficili da misurare a causa di ambienti difficili, temperature elevate o magnitudini elevate, o costi operativi artificiali elevati e costi dei dispositivi. Tuttavia, potrebbe esserci qualche collegamento tra queste complesse variabili di processo accoppiate che ci ispira a sviluppare alcuni modelli di mappatura non lineare per risolvere questi problemi. Questa tesi si concentra sullo sviluppo di framework di sensing e previsione soft per due processi industriali. Con i metodi di apprendimento automatico basati sui dati, questi processi difficili da misurare possono essere identificati dalle variabili di processo facili da misurare, che vengono chiamate modelli di "sensore soft". Tuttavia, l'industria di processo ha bisogno di una previsione accurata che possa fornire informazioni sulla situazione di produzione, il monitoraggio della produzione, il miglioramento dell'efficienza produttiva e l'evitamento dei pericoli per la sicurezza. La previsione accurata può anche fornire informazioni per le strategie di controllo. Esplicitamente, gli algoritmi di sensing e previsione soft proposti sono diffusi attraverso i seguenti due studi di caso industriali. Caso Industriale I: Il processo di elettrolisi dell'alluminio è un processo accoppiato a variabili multiple, ambiente difficile, con grandi ritardi temporali. Pertanto, è difficile misurare le complesse variabili chiave di qualità a causa del complesso meccanismo di reazione. Inoltre, il costo della rilevazione manuale diretta causerebbe una rilevazione inaccurata e un costo elevato. In molti modelli industriali, accelerare l'abilità di inferenza e la velocità nel modello massivo è comunemente il collo di bottiglia. L'aggregazione del modello è il principale metodo che può essere utilizzato per ridurre il carico computazionale sul sistema. La distillazione della conoscenza è un argomento popolare che trasferisce conoscenze dalla rete insegnante alla rete studente, rendendo la rete studente un modello superiore per l'apprendimento utilizzando etichette soft. Quando sono disponibili più reti insegnanti, l'abilità di interpolazione dell'intero modello sarebbe migliorata, producendo quindi un modello all'avanguardia più robusto. Tuttavia, i principali metodi esistenti utilizzano l'architettura a rete insegnante singola e rete studente singola o utilizzano la stessa allocazione dei pesi per ogni rete insegnante. In questa parte, presentiamo una nuova architettura adattiva duale. L'architettura proposta sfrutta la complessità delle immagini di addestramento e le differenze nella capacità del modello studente; l'allocazione adattativa dei pesi tra più reti insegnanti può portare a una migliore performance del modello studente distillato. Per ottenere una migliore performance di selezione, viene anche fornito l'apprendimento per rinforzo per il framework di politica del controllore/agente. Il framework proposto implementa l'allocazione dei pesi dinamici sistematicamente alle modelli insegnanti per diversi campioni di addestramento e infine ottimizza la performance del modello studente in modo iterativo. Il metodo proposto garantisce anche convergenza, robustezza e fattibilità. Infine, l'efficacia ed efficacia sono dimostrate dal caso pratico dell'alluminio industriale. Caso Industriale II: La concentrazione del sottoprodotto è un fattore importante che riflette le prestazioni del controllo e dell'ottimizzazione dell'addensatore a cono profondo. Tuttavia, la misurazione esistente non può soddisfare l'alta qualità della previsione. Inoltre, l'errore di misura è difficile da quantificare con un dispositivo inaccurato, un ambiente difficile e un costo operativo manuale. Pertanto, il significato dello studio della previsione e della previsione della concentrazione del sottoprodotto ha un grande valore per le applicazioni industriali. La validazione e la verifica di questi metodi proposti si basano su due diversi casi industriali: il processo di riempimento della pasta minerale e l'elettrolisi dell'alluminio. A causa dell'inaccuratezza e della significativa perturbazione del complesso e difficile ambiente nei processi industriali reali, i dispositivi sensoriali tradizionali ignorano l'errore del modello e difficilmente misurano la certezza delle variabili chiave di qualità. Tuttavia, nei sistemi