Deep reinforcement learning for chemical process control

During the last decades, computer science has significantly impacted the engineering world, providing useful tools to solve typical engineering problems. Nowadays Chemical engineering requires increasingly advanced tools to face complex problems. The increasingly availability of modern and powerful computing devices calls for the implementation of new technologies that were previously unsustainable. In this work, the impact of machine learning algorithms on chemical engineering is treated. More specifically, a reinforcement learning approach for the chemical process control is extensively discussed. A technical description of the mathematical framework is provided, along with a short description of the latest and most popular algorithms in the scientific literature. A novel Python framework, useful to implement this relatively new technology, is presented. Several experiments are provided to assess the performance of a reinforcement learning-based controller in the control of a chemical reactor. Moreover, a comparison with the classical approach (e.g., PID, MPC) is provided showing the pros and cons of this new approach to the control problem.

Negli ultimi anni le scienze informatiche hanno fortemente impattato il mondo dell’ingegneria, fornendo nuovi strumenti incredibilmente utili per la risoluzione di vari tipi di problemi ingegneristici. Oggi giorno l’ingegneria chimica richiede strumenti sempre più avanzati per risolvere problemi complessi. Grazie alla disponibilità di calcolatori sempre più moderni e potenti, possono essere implementate nuove tecnologie, prima insostenibili. In questo lavoro, è trattato l’impatto degli algoritmi di machine learning, più specificamente del Reinforcement learning, nel mondo dell’ingegneria chimica. È fornita una descrizione tecnica del framework matematico che sostiene il problema, insieme ad una breve descrizione dei più avanzati algoritmi disponibili nella letteratura scientifica. Un nuovo e sperimentale framework scritto in Python sarà presentato al fine di fornire le linee guida per implementare ed utilizzare questo nuovo strumento. Negli esperimenti presenti in questo lavoro, è presentato un controllore basato su algoritmi di reinforcement learning per il controllo di un reattore chimico. Inoltre, le performance ottenute da questo nuovo tipo di controllore sono confrontate con quelle dei classici controllori MPC e PID dimostrando i pro e i contro di questo nuovo tipo di approccio.