Resource management for millimeter-wave access networks based on artificial intelligence

Millimeter wave (mmWave) communications have been envisioned in the fifth-generation (5G) standardization process as a promising direction, due to their attractive potential to provide a huge capacity extension to traditional sub-6 GHz technologies, thus meeting the demand of huge wireless access data rates. However, such high-frequency communications are susceptible to harsh propagation conditions such as high path losses and blockages that can be only partially alleviated by directional phased-array antennas. This makes mmWave networks coverage-limited, thus requiring the dense deployment of a number of base stations. Integrated Access and Backhaul (IAB) network, which is proposed by the 3rd Generation Partnership Project (3GPP) and generally organized in a multi-hop architecture, is gaining momentum as a cost-effective solution to the end of network densification. Resource allocation in mmWave IAB networks is complicated and faces big challenges originated by directional transmissions, device heterogeneity and harsh propagation conditions. In addition, the dynamics, such as the short-lived access links due to users’ mobility and the random link blockages generated by moving obstacles, require the available resources in IAB networks to be carefully tuned on-the-fly. This poses big challenges to traditional optimization techniques, as it is hard to find an optimal and adaptive solution. We believe, instead, Artificial Intelligence (AI) techniques especially Reinforcement Learning (RL) can implicitly capture the network dynamics and learn to manage the real-time operations in dynamic networks with intermittent links caused by both the users’ mobility and the link obstructions. In this thesis, we aim to address the problem of flow allocation and link scheduling to maximize the user throughput in mmWave IAB networks, considering the network dynamics with regard to 1) the stochastic channel conditions due to random link obstructions and 2) the constantly changing access topology incurred by the users’ mobility. Our study starts from a fully static network scenario, based on which, the optimization problem is formulated. Then, we progressively incorporate new dynamics and investigate more and more realistic scenarios, leveraging the adaptability of AI techniques. Initially, we focus on static mmWave IAB network scenarios, and formulate the flow allocation and link scheduling as a mixed-integer linear programming (MILP) problem, which involves a huge number of variables to be solved, due to the large cardinality of the set of concurrent physically-compatible links (named as link pattern). We resort to Column Generation (CG) algorithm to reduce the problem complexity by transforming link scheduling into pattern scheduling. The flow allocation and pattern scheduling is solved as the restricted master problem, while the patterns are constructed through the pricing procedure considering the physical constraints. The final scheduling result can play an important role, in the following studies on dynamic scenarios, as a reference benchmark of optimality since CG can obtain results very close to the optimum. Subsequently, we propose an adaptive flow allocation and link scheduling approach based on RL and CG, for dynamic mmWawe IAB networks containing random link blockages. Specifically, we adopt such a hybrid framework where the high-quality link patterns generated by the CG algorithm assist in building the candidate action set of the RL agent. Based on this idea, different RL frameworks are proposed respectively for the two studied scenarios, characterized by: (1) simplified Bernoulli-process-based temporally-independent link blockages, and (2) more realistic Markov-chain-based temporally-correlated link blockages. To tackle the latter, we exploit Long Short-Term Memory (LSTM) to memorize the variation regularities of the network status. Numerical evaluations are conducted, and the results demonstrate that the proposed approach shows evident effectiveness in addressing the varying link availabilities. Furthermore, we explore more realistic mmWave IAB networks by considering not only link obstructions but also users’ mobility that can lead to temporarily established access links thus bringing in more dynamics and uncertainties. The mobile scenarios can be characterized by two types of blockages (i.e., the sector-based temporally-correlated blockages, the 3D mobile obstacles caused blockages). To address such highly dynamic scenarios, we propose a multi-agent RL (MARL) based framework, motivated by the distributive feature of the networks which contain local areas with local statistics that may differ across the network, due to users’ mobility and links’ blockages. The basic idea of this framework is to split the original complex combinatorial problem into small ones managed locally by cooperative agents. To smoothly deliver bits, the approach is expected to coordinate the transmission interference and manage the buffer levels of the IAB-nodes. Different MARL settings are designed to provide proper schedules for the cases where IAB-nodes are organized in either star or tree topologies, and operate in either full-duplex or half-duplex modes, respectively. Experimental results have shown the effectiveness of the proposed approach.

Le comunicazioni a onde millimetriche (mmWave) sono state concepite nel processo di standardizzazione di quinta generazione (5G) come una direzione promettente, grazie al loro interessante potenziale di fornire un'enorme estensione della capacità alle tradizionali tecnologie sub-6 GHz, soddisfacendo così la domanda di enormi dispositivi wireless accedere alle tariffe dati. Tuttavia, tali comunicazioni ad alta frequenza sono suscettibili a condizioni di propagazione difficili come elevate perdite di percorso e blocchi che possono essere alleviati solo parzialmente dalle antenne phased-array direzionali. Ciò rende la copertura delle reti mmWave limitata, richiedendo così la distribuzione densa di un certo numero di stazioni base. La rete Integrated Access and Backhaul (IAB), proposta dal 3rd Generation Partnership Project (3GPP) e generalmente organizzata in un'architettura multi-hop, sta guadagnando slancio come soluzione conveniente per la fine della densificazione della rete. L'allocazione delle risorse nelle reti mmWave IAB è complicata e deve affrontare grandi sfide originate da trasmissioni direzionali, eterogeneità dei dispositivi e condizioni di propagazione difficili. Inoltre, le dinamiche, come i collegamenti di accesso di breve durata dovuti alla mobilità degli utenti e i blocchi casuali dei collegamenti generati dagli ostacoli in movimento, richiedono un'attenta messa a punto delle risorse disponibili nelle reti IAB al volo. Ciò pone grandi sfide alle tecniche di ottimizzazione tradizionali, poiché è difficile trovare una soluzione ottimale e adattabile. Riteniamo, invece, che le tecniche di Intelligenza Artificiale (AI), in particolare il Reinforcement Learning (RL), possano catturare implicitamente le dinamiche della rete e imparare a gestire le operazioni in tempo reale in reti dinamiche con collegamenti intermittenti causati sia dalla mobilità degli utenti che dalle ostruzioni dei collegamenti. In questa tesi, ci proponiamo di affrontare il problema dell'allocazione del flusso e della schedulazione dei collegamenti per massimizzare il throughput dell'utente nelle reti IAB mmWave, considerando le dinamiche della rete per quanto riguarda 1) le condizioni del canale stocastico dovute alle ostruzioni dei collegamenti casuali e 2) il continuo cambiamento topologia di accesso sostenuta dalla mobilità degli utenti. Il nostro studio parte da uno scenario di rete completamente statico, in base al quale viene formulato il problema di ottimizzazione. Quindi, incorporiamo progressivamente nuove dinamiche e indaghiamo scenari sempre più realistici, sfruttando l'adattabilità delle tecniche di AI. Inizialmente, ci concentriamo su scenari di rete IAB mmWave statici e formuliamo l'allocazione del flusso e la pianificazione dei collegamenti come un problema di programmazione lineare mista intera (MILP), I che coinvolge un numero enorme di variabili da risolvere, a causa della grande cardinalità del insieme di collegamenti simultanei fisicamente compatibili (denominati come pattern di collegamento). Ricorriamo all'algoritmo Column Generation (CG) per ridurre la complessità del problema trasformando la pianificazione dei collegamenti in una pianificazione dei modelli. L'allocazione del flusso e la pianificazione del modello vengono risolte come problema principale ristretto, mentre i modelli vengono costruiti attraverso la procedura di determinazione del prezzo considerando i vincoli fisici. Il risultato finale della schedulazione può svolgere un ruolo importante, nei successivi studi sugli scenari dinamici, come benchmark di riferimento di ottimalità poiché CG può ottenere risultati molto vicini all'ottimo. Successivamente, proponiamo un approccio adattivo di allocazione del flusso e pianificazione dei collegamenti basato su RL e CG, per reti IAB mmWawe dinamiche contenenti blocchi di collegamenti casuali. In particolare, adottiamo un tale framework ibrido in cui i modelli di collegamento di alta qualità generati dall'algoritmo CG aiutano a costruire il set di azioni candidato dell'agente RL. Sulla base di questa idea, vengono proposti diversi framework RL rispettivamente per i due scenari studiati, caratterizzati da: (1) blocchi di collegamento temporalmente indipendenti basati sul processo di Bernoulli semplificati e (2) collegamento temporalmente correlato più realistico basato su catena di Markov blocchi. Per far fronte a quest'ultimo, sfruttiamo la memoria a lungo termine (LSTM) per memorizzare le regolarità di variazione dello stato della rete. Vengono condotte valutazioni numeriche ei risultati dimostrano che l'approccio proposto mostra un'evidente efficacia nell'affrontare le diverse disponibilità di collegamenti. Inoltre, esploriamo reti mmWave IAB più realistiche considerando non solo le ostruzioni dei collegamenti, ma anche la mobilità degli utenti che può portare a collegamenti di accesso stabiliti temporaneamente, introducendo così più dinamiche e incertezze. Gli scenari mobili possono essere caratterizzati da due tipi di blocchi (vale a dire, i blocchi correlati temporalmente basati sul settore, gli ostacoli mobili 3D hanno causato blocchi). Per affrontare scenari così dinamici, proponiamo un framework multi-agente basato su RL (MARL), motivato dalla caratteristica distributiva delle reti che contengono aree locali con statistiche locali che possono differire all'interno della rete, a causa della mobilità degli utenti e dei collegamenti blocchi. L'idea di base di questo framework è di dividere il complesso problema combinatorio originario in piccoli problemi gestiti localmente da agenti cooperativi. Per fornire i bit senza problemi, l'approccio dovrebbe coordinare l'interferenza di trasmissione e gestire i livelli di buffer dei nodi IAB. Diverse impostazioni MARL sono progettate per fornire pianificazioni appropriate per i casi in cui i nodi IAB sono organizzati in topologie a stella o ad albero e funzionano rispettivamente in modalità full-duplex o half-duplex. I risultati sperimentali hanno dimostrato l'efficacia dell'approccio proposto.