Anti-surge control in centrifugal compressors using reinforcement learning

One critical issue which has affected nearly all dynamic compressors for decades is that of surge. This is due to the extensive damage that can be caused by the occurrence of this instability if left unchecked for even a few seconds. Consequently, the problem of anti-surge control has been pivotal in the field of centrifugal compressor control. In such systems, anti-surge controllers are employed in conjunction with performance controllers to stabilize the compressor in the case of disturbances leading to unstable operating conditions. Reinforcement learning (RL) on the other hand, is a sub-field of machine learning which has shown great promise when applied to numerous control problems, such as that of autonomous driving and robotics, among others, by learning an optimal control strategy from experience accumulated through continuous interaction with the environment. In this thesis, we apply RL techniques to the problem of anti-surge control, starting by applying a parameter-based RL method (PGPE) to tune a PID-based anti-surge controller, followed by an experimental exploration of using deep neural network (DNN) controllers as an improved alternative to the PID-based controllers currently being utilized. In our pursuit of developing an optimal neural network policy, we test the performance of Soft Actor Critic (SAC) in an undelayed environment, then, we compare augmented SAC and DIDA algorithms' performance in delayed environments like the one present in this class of compressor systems. Finally, we empirically show that the tuning with PGPE was in fact able to enhance the controller performance, and even more so, the developed DNN-based controllers, which were able to fluently avoid surge despite the presence of delay, in extreme scenarios, where the PID-controller failed to do so.

Un problema critico che affligge la maggior parte dei compressori dinamici da decenni è quello del pompaggio. Ciò è dovuto agli ingenti danni che possono essere causati dal verificarsi di questa instabilità se non controllata anche solo per pochi secondi. Di conseguenza, il problema del controllo del pompaggio è stato fondamentale nel campo del controllo dei compressori centrifughi. In tali sistemi, i regolatori anti-pompaggio vengono impiegati insieme ai regolatori delle prestazioni per stabilizzare il compressore in caso di disturbi che portano a condizioni di funzionamento instabili. L'apprendimento per rinforzo (RL), d'altra parte, è un sottocampo dell'apprendimento automatico che si è mostrato molto promettente quando applicato a numerosi problemi di controllo, come quello della guida autonoma e della robotica, tra gli altri, apprendendo una strategia di controllo ottimale dall'esperienza accumulato attraverso la continua interazione con l'ambiente. In questa tesi, applichiamo le tecniche RL al problema del controllo antipompaggio, partendo dall'applicazione di un metodo RL basato su esplorazione dei parametri (PGPE) per mettere a punto un controllere antipompaggio basato su PID, seguita da una campagna sperimentale di controlleri basati su reti neurali profonde (DNN) come alternativa migliorata ai controller basati su PID attualmente utilizzati. Nella ricerca della politica ottimale basata su rete neurale, testiamo le prestazioni di Soft Actor Critic (SAC) in un ambiente senza ritardo, quindi confrontiamo le prestazioni degli algoritmi SAC e DIDA con stato aumentato in ambienti con ritardo, come quello presente in questa classe di sistemi di compressione. Infine, dimostriamo empiricamente che l’addestramento con PGPE era di fatto in grado di migliorare le prestazioni del controller, e ancor di più, i controller basati su DNN sviluppati, che sono stati in grado di evitare il pompaggio nonostante la presenza di ritardo, in scenari estremi, dove il Il controller PID non è in grado di farlo.