Cross-task and cross-lightpath soft failure localization in optical networks using transfer learning

Nowadays, coherent optical transponders technologies allow us to have a plethora of transmission quality parameters measured from optical network devices such as Optical Signal-to-Noise-Ratio (OSNR), Q-factor or pre-Forward Error Correction Bit Error Rate (pre-FEC BER). Exploiting and elaborating this information with advanced data analysis techniques, such as those provided by Machine Learning (ML) algorithms, enables advanced optical performance monitoring that can be exploited for the optimization of optical networks operation. This is particularly important in view of soft failure management in optical networks, where accurate detection, localization and cause identification of failures can enable minimum or no service downtime if performed in a proactive manner. In this thesis we focus on the application of ML to soft failure localization in optical networks, performed by analyzing OSNR data collected at the receiver side of given lightpaths and considering real data from a laboratory testbed. However concern arises on whether one can reuse a ML failure localization framework, which has been trained and optimized on a given source domain (e.g., a lightpath with certain characteristics in terms of number of traversed devices, length, etc.), on a different target domain (i.e., a lightpath with different characteristics) with little or no impact on performance degradation. This is particularly convenient in cases where a limited amount of data is available in the target domain and collecting new data to feed the ML algorithm training is costly or not practical. In this context, we consider the opportunity of using Transfer Learning (TL), that consists in transferring the knowledge gained by an algorithm while solving one problem and applying it to a different but related problem. Regarding optical networks TL can be adopted in order to perform a cross-lightpath knowledge transferring between two lightpath of the same optical network. Another opportunity brought by TL in this context is to reuse the learning related to a specific task on a lightpath, into a different task on the same lightpath, in this way in connection with an hypothetical detection algorithm trained on a lightpath, by TL we could improve the quality of network management, exploiting it to develop a localization algorithm. In our work we aimed at building a ML/TL framework specific for soft failure localization based on OSNR data, generated from considerations upon different ML algorithm. In particular, we aspired to try recent approaches to TL regarding Artificial Neural Networks and Random Forests. Lastly, we tested these different approaches using OSNR traces collected over an optical network testbed located in Sendai, Japan, at NICT premises.

Al giorno d’oggi, le tecnologie dei transponder ottici coerenti ci consentono di avere una pletora di parametri di qualità di trasmissione misurati da dispositivi di rete ottica come il rapporto segnale-rumore ottico (OSNR), il fattore Q o il tasso di errore dei bit di correzione dell’errore pre-inoltro (pre-FEC BER). L’utilizzo e l’elaborazione di queste informazioni con tecniche avanzate di analisi dei dati, come quelle fornite dagli algoritmi di Machine Learning (ML), consente un monitoraggio avanzato delle prestazioni ottiche, che può essere impiegato per l’ottimizzazione del funzionamento delle reti ottiche. Ciò è particolarmente importante in un ottica di gestione dei soft failures nelle reti ottiche, dove il rilevamento, la localizzazione e l’identificazione delle cause dei guasti possono consentire tempi di inattività minimi o nulli se eseguiti in modo proattivo. In questa tesi ci concentreremo sull’applicazione del ML per la localizzazione di soft failures nelle reti ottiche, eseguita analizzando i dati OSNR raccolti sul nodo di destinazione di determinati lightpath e considerando i dati reali da un banco di prova in laboratorio. Tuttavia, può sorgere la domanda se sia possibile riutilizzare un framework di ML per la localizzazione degli errori che è stato allenato e ottimizzato su un determinato dominio di origine (ad esempio, un lightpath con determinate caratteristiche in termini di numero di dispositivi attraversati, lunghezza, etc.), su un diverso dominio di destinazione (cioè un lightpath con caratteristiche diverse) con un impatto minimo o nullo sul degrado delle prestazioni. Ciò può essere particolarmente conveniente nei casi in cui fosse disponibile una quantità limitata di dati nel dominio di destinazione e la raccolta di nuovi dati per alimentare l’allenamento dell’algoritmo ML fosse costosa o non pratica. In questo contesto, consideriamo l’opportunità di utilizzare il Transfer Learning (TL), che consiste nel trasferire la conoscenza acquisita da un algoritmo risolvendo un problema e applicarlo a un problema diverso ma correlato. Per quanto riguarda le reti ottiche, il TL può essere adottato per eseguire un trasferimento di conoscenze tra due lightpath della stessa rete ottica. Un’altra opportunità offerta dal TL in questo contesto, è quella di riutilizzare l’apprendimento relativo a un compito specifico su un lightpath, in un compito diverso sullo stesso lightpath, in questo modo a valle di un algoritmo di rilevamento addestrato su un lightpath, con il TL potremmo migliorare la qualità della gestione della rete, sfruttandolo per sviluppare un algoritmo di localizzazione. Nel nostro lavoro abbiamo mirato a costruire un framework ML/TL specifico per la localizzazione di soft failures basato sui dati OSNR, considerando diversi algoritmi di ML. In particolare, aspiravamo a provare approcci recenti al TL per quanto riguarda le reti neurali artificiali e le foreste randomiche. Infine, abbiamo testato questi diversi approcci utilizzando tracce OSNR raccolte su un banco di prova di rete ottica situato a Sendai, in Giappone, presso la sede del NICT.