Reinforcement Learning based Congestion Control Policies for mMTC in 5G Networks

In recent years, the emergence of massive machine type communications (mMTC) has led to a significant increase in the number of connected devices in 5G networks. This rapid growth of mMTC devices has created a new challenge for network operators, as the congestion caused by these devices can result in network failure and service degradation. To address this issue, the Access Class Barring (ACB) method has been implemented in 5G cellular networks. It aims to increase the probability of successful access by randomly delaying access requests of User Equipments (UEs) based on a barring rate and a barring time. Proper selection of those parameters is essential for effective congestion control. However, the 3GPP does not provide any specific algorithm for setting and adapting these parameters. This study focuses on a simplified version of ACB algorithm using Reinforcement Learning (RL) to dynamically adapt the access probability (barring rate) to maximize network performance. A grant-free access protocol has been used in this scenario to reduce the energy consumption of devices by eliminating the need for frequent requests for network access. The proposed scheme was evaluated using discrete-event simulation and compared with an ideal and a heuristic congestion control schemes. The results show that RL-based congestion control policies can effectively reduce collisions and improve network efficiency but may require careful tuning of hyperparameters to achieve optimal performance across different metrics.

Negli ultimi anni, l'emergere delle comunicazioni massive di tipo macchina (mMTC) ha portato a un aumento significativo del numero di dispositivi connessi alle reti 5G. Questa rapida crescita dei dispositivi mMTC ha creato una nuova sfida per gli operatori di rete, poiché la congestione causata da questi dispositivi può provocare guasti alla rete e il degrado del servizio. Per affrontare questo problema, nelle reti cellulari 5G è stato implementato il metodo Access Class Barring (ACB). Il metodo mira ad aumentare la probabilità di successo dell'accesso ritardando in modo casuale le richieste di accesso delle apparecchiature utente (UE) sulla base di un tasso di sbarramento e di un tempo di sbarramento. La corretta selezione di questi parametri è essenziale per un efficace controllo della congestione. Tuttavia, il 3GPP non fornisce alcun algoritmo specifico per impostare e adattare questi parametri. Questo studio si concentra su una versione semplificata dell'algoritmo ACB che utilizza il Reinforcement Learning (RL) per adattare dinamicamente la probabilità di accesso che massimizza le prestazioni della rete. In questo scenario è stato utilizzato un protocollo di accesso grant-free per ridurre il consumo energetico dei dispositivi eliminando la necessità di frequenti richieste di accesso alla rete. Lo schema proposto è stato valutato mediante simulazione a eventi discreti e confrontato con approcci di controllo della congestione ideali ed euristici. I risultati mostrano che le politiche di controllo della congestione basate su RL possono ridurre efficacemente le collisioni e migliorare l'efficienza della rete, ma possono richiedere un'attenta regolazione degli iperparametri per ottenere prestazioni ottimali su diverse metriche.