Multi-agent reinforcement learning for enhanced traffic engineering in SD-WAN

Software Defined Wide Area Networking (SD-WAN) has emerged as an evolutionary technology due to its advantageous levels of efficiency and flexibility. Amongst all its benefits, lies a key area which is lacking due to the dynamic nature of the network traffic flows. The concept of Traffic Engineering (TE) in SD-WAN remains a significant challenge despite a number of proposed solutions found in literature. This thesis proposes a novel approach to making TE decisions in SD-WAN by leveraging Multi-Agent Reinforcement Learning (MARL) techniques. The proposed method includes the implementation of a MARL environment designed to handle incoming telemetry data and enable network agents to learn and adapt their decision-making based on real-time feedback. Agents are trained using a robust actor-critic training algorithm and the outcomes of their choices improve significantly over time. The obtained results showcase the improvements in the agents’ decision-making which are presented by their enhanced ability in minimizing the elapsed time for traffic to be sent between a client and server. By capitalizing on the learning capabilities offered by MARL, the suggested approach proves to have sustainable levels of performance and adaptability to the dynamic nature brought about by traffic in SD-WAN. This work contributes to the advancement of TE in SD-WAN through its learning mechanisms and provides an insight into potential network management practices while also offering revamped scalability.

La Software Defined Wide Area Networking (SD-WAN) è emersa come una tecnologia evolutiva grazie ai suoi vantaggiosi livelli di efficienza e flessibilità. Tra tutti i suoi vantaggi, c'è un'area chiave che manca a causa della natura dinamica dei flussi di traffico di rete. Il concetto di Traffic Engineering (TE) in SD-WAN rimane una sfida significativa, nonostante una serie di soluzioni proposte in letteratura. Questa tesi propone un nuovo approccio per prendere decisioni TE in SD-WAN sfruttando tecniche di Multi-Agent Reinforcement Learning (MARL). Il metodo proposto include l'implementazione di un ambiente MARL progettato per gestire i dati di telemetria in entrata e consentire agli agenti di rete di apprendere e adattare il loro processo decisionale in base al feedback in tempo reale. Gli agenti vengono addestrati utilizzando un robusto algoritmo di addestramento attore-critico e i risultati delle loro scelte migliorano significativamente nel tempo. I risultati ottenuti mostrano i miglioramenti nel processo decisionale degli agenti, che sono presentati dalla loro maggiore capacità di ridurre al minimo il tempo trascorso per l'invio del traffico tra un client e un server. Sfruttando le capacità di apprendimento offerte da MARL, l'approccio suggerito dimostra di avere livelli sostenibili di prestazioni e adattabilità alla natura dinamica determinata dal traffico in SD-WAN. Questo lavoro contribuisce al progresso di TE in SD-WAN attraverso i suoi meccanismi di apprendimento e fornisce una panoramica delle potenziali pratiche di gestione della rete, offrendo al contempo una scalabilità rinnovata.