Deep reinforcement learning for inter-numerology interference minimization in 5G RAN slicing

Radio Access Network (RAN) slicing is an essential technology to unleash the full potential of 5G systems in accommodating heterogeneous applications requirements within the same RAN infrastructure. In this context, the design of spectrum allocation policies covers the fundamental role to ensure that each service obtains a suitable share of the radio resources. However, the stochastic nature of the wireless channel makes the service requirement fulfilment more challenging due to the variability of the achievable data rate provided by the spectrum resources. Moreover, mixed-numerology access schemes on the shared RAN physical layer further exacerbate the policy design complexity since Inter-Numerology Interference (INI) hinders the service provisioning performance. Based on these observations, this thesis investigates the design of spectrum allocation policies having two main features. On one hand, they enhance the network slice performance in terms of aggregate data rate and/or service reliability. On the other hand, they enforce inter-slice isolation by mitigating the inter-numerology interference that affects each slice user. The proposed schemes leverage Deep Reinforcement Learning (DRL) to achieve near-optimal spectrum allocation based on a model-free agent formulation. Furthermore, the designed agents are augmented with ad-hoc schemes that improve the learning effectiveness in complex network scenarios. Results show that an INI-aware spectrum allocation achieves better performance when compared to INI-agnostic schemes. In addition, they also highlight the advantage of the proposed DRL resolution methodology to provide a scalable and computationally efficient spectrum policy computation.

Radio access network slicing è una tecnologia essenziale per sfruttare al meglio il potenziale dei sistemi 5G nell'adattarsi ad applicazioni con requisiti eterogenei che sono attivi nella stessa infrastruttura di rete radio. In questo contesto, la progettazione di algoritmi di assegnazione dello spettro radio copre il ruolo fondamentale di garantire che ogni servizio ottenga una quota adeguata delle risorse radio. Tuttavia, la natura stocastica del canale wireless rende il raggiungimento di tale obiettivo molto impegnativo a causa della variabilità del data-rate offerto dalle risorse assegnate. Inoltre, l'impiego di schemi di accesso a numerologia mista sul livello fisico aumenta ulteriormente la complessità di tali algoritmi a causa dell'interferenza inter-numerologia che degrada le prestazioni dei vari servizi. Sulla base di tali osservazioni, questa tesi presenta la sviluppo di algoritmi di allocazione dello spettro radio che soddisfano due requisiti principali. Da un lato, aumentano il data-rate e/o l'affidabilità di vari servizi attivi sull'interfaccia radio. Dall'altro lato, rafforzano l'isolamento logico tra servizi diversi mitigando l'interferenza inter-numerologia. Le soluzioni proposte sfruttano deep reinforcement learning per ottenere un'allocazione dello spettro quasi ottimale. Quest'ultima si basa su una formulazione di un agente che è addestrato con un approccio "model-free". Inoltre, gli agenti sviluppati sono supportati da schemi ad-hoc che migliorano l'efficacia dell'apprendimento in scenari di rete complessi. I risultati dimostrano che un'allocazione dello spettro radio, che tiene conto dell'interferenza inter-numerologia, raggiunge prestazioni migliori rispetto a schemi di allocazione che la trascurano. In aggiunta, la metodologia proposta evidenzia il vantaggio di un approccio di risoluzione basato su deep reinforcement learning per garantire la scalabilità e l'efficienza computazionale degli algoritmi proposti.