Optimal real-time control of a water distribution system undergoing cyber-attacks : a reinforcement learning

In this work, we demonstrate how the introduction of a reinforcement learning agent can be used to control a water distribution systems undergoing cyber-physical attacks. The need for limiting the impact of such digital threats stems from the more and more pronounced integration between physical and digital systems, grown in the last decade, and the birth of, so called, cyber-physical systems. In the field of hydraulic networks, where the handled asset is of critical importance for city dwellers, there is still lot of work to do to accomplish a sufficient level of reliability in the safeguard of digital infrastructures. The approach we adopt builds on the integration of a deep reinforcement learning model, namely Deep Q-Network, into the Digital HydrAuLic SIMulator (DHALSIM), appointed to simulate the entire cyber-physical system---and thus combining the water network process with the emulation of industrial control systems and corresponding communication protocols. The integration is made feasible thanks to a new feature implemented in DHALSIM, the extit{stepwise simulation}, allowed by the addition of a new simulator wrapper, namely Epynet. Indeed, this extension permits to run the experiment in a step-by-step manner, giving the possibility, between each frame, to control the actuator variables of the water network. Finally, the reinforcement learning agent is smoothly integrated, since at each step it can analyze the state of the network and output a suitable control action. The evaluation phase is run considering the system in normal operating conditions and undergoing cyber-attacks. In this work, we report results collected by some restricted experiments, which would be interesting to reproduce for a longer time with more computational power and a different tuning of the hyperparameters. Our intention is to take the first steps in this almost unexplored aspect of hydraulic network and to sketch the guidelines for future extensive studies.

Nell'ultimo decennio, con l'avvento della Quarta Rivoluzione Industriale e del nuovo paradigma lavorativo denominato Industria 4.0, l'interconnessione dei processi produttivi tramite l'utilizzo di sistemi di controllo digitali si è consolidata a tal punto da diventare una realtà per la maggior parte delle medie-grandi imprese. Questa ventata di rinnovamento ha portato numerevoli benefici per quanto riguarda il miglioramento della produttività e l'abbattimento dei costi di magazzino, ma contemporaneamente ha favorito l'insorgenza di vulnerabilità legate all'utilizzo di sistemi digitali e alla gestione di risorse tramite connessioni alla rete internet. In questo scenario diventa dunque fondamentale preoccuparsi dei rischi che queste interconnessioni possono causare e, allo stesso tempo, cercare di ideare nuove strategie e soluzioni per mettere in sicurezza i canali digitali adibiti alla gestione di risorse industriali. Infatti, non è raro apprendere notizie relative ad attacchi informatici ai danni di specifiche aziende che agiscono in un particolare settore, o addirittura direttamente indirizzati contro la macchina statale. Le falle, in molti casi, derivano proprio da quei dispositivi introdotti con la rivoluzione industriale, che rientrano nel gruppo dei cosiddetti extit{sistemi di controllo industriale}. La ragione risiede nel fatto che molto spesso i protocolli industriali utilizzati dai macchinari di produzione non implementano sufficienti meccanismi di sicurezza, in quanto non ideati per essere inseriti in un'infrastruttura interconnessa. Inoltre, i tardivi aggiornamenti applicati ai dispositivi di controllo, dovuti alla mancanza di una finestra temporale adeguata, incrementano le debolezze del sistema, concedendo ulteriori vulnerabilità ad agenti malintenzionati. Poiché l'interconnessione e la creazione di sistemi cyber-fisici si stanno diffondendo in svariati ambiti, dalla produzione energetica al settore manifatturiero, è necessario limitare i possibili rischi con misure di sicurezza adeguate, soprattutto in contesti in cui la risorsa fisica gestita dall'impianto risulta essere un bene primario per l'umanità e il pianeta. Un caso lampante è quello degli impianti idrici, in cui i sistemi di controllo possono migliorare sensibilmente l'efficienza della rete, andando anche a raccogliere informazioni sullo stato dell'infrastruttura e qualità dell'acqua, ma che possono diventare bersagli di attacchi informatici, con ingenti conseguenze su larga scala. Per ovviare a questo problema, negli ultimi anni ricercatori e industrie stanno studiando meccanismi di sicurezza per rispondere a queste minacce digitali, anche attraverso l'utilizzo di approcci basati sul Machine Learning e il Deep Learning. Le soluzioni trovate finora si basano prevalentemente sul monitoraggio del sistema in tempo reale alla ricerca di anomalie, mediante l'analisi delle letture dei sensori e modelli che descrivono il processo fisico. In questi casi l'intelligenza artificiale entra in campo nel momento in cui il sistema di monitoraggio va allenato con dati verosimili al fine di ricreare un'esperienza il più possibile conforme a quella reale. Parallelamente, gli studiosi hanno cercato di ricreare fedelmente in versione digitale sistemi cyber-fisici, che possano modellizzare oltre al processo fisico di competenza, anche l'infrastruttura di controllo e le conseguenti minacce informatiche a cui potrebbe essere sottoposta. In questo elaborato di tesi si utilizza un approccio basato sul Reinforcement Learning per allenare un sistema idrico a resistere ad attacchi informatici, incrementando la resilienza della rete a perturbazioni esterne. Il tutto viene simulato attraverso un modello digitale del sistema cyber-fisico, in grado di emulare sia il processo fisico che l'infrastruttura di controllo. Essendo un approccio totalmente innovativo, in quanto cerca di applicare il problema di controllo ottimo in tempo reale---traducibile in un problema di schedulazione degli attuatori---ad uno scenario in cui si verificano attacchi informatici che perturbano lo stato del sistema, l'obiettivo dell'elaborato non è quello di fornire una soluzione algoritmica più accurata possibile, quanto quello di muovere i primi passi verso un nuovo tipo di analisi che potrebbe portare ad interessanti sviluppi e soluzioni future.