Prediction of cellular customers satisfaction with network measurements at 4G radio access

The expected characteristics that the mobile network connectivity market will assume with the well-established adoption of 4G technology and the imminent deployment of 5G technology, together with the rising global demand for related services, will lead to a challenging scenario for mobile network operators. Operators need to face the challenge by reshaping their investments in all growing network domains and focusing in particular on providing customers with the highest Quality of Service (QoS). These objectives, however, must necessarily be supported by strategic plans aimed at reducing the number of churners, i.e. those customers who, dissatisfied with the service offered, interrupt their subscription, and at recovering their consent and trust in the service subscribed. The detection of dissatisfied users will therefore represents, for mobile operators, the key point for the subsequent strategic planning and the tracking of the customer's degree of satisfaction related to the services offered. The method that allows this monitoring will be the measurement of the Quality of Experience (QoE) perceived by users. Due to the high cost of conducting survey campaigns and the problems associated with them, such as poor customer cooperation, it is crucial for operators to invest in research into the relationship between QoS and QoE. An effective solution to these problems is through the use of Machine Learning models, which can predict QoE directly from data rather than collecting customer feedbacks. This thesis proposes a method for the detection of potential churners, predicting their level of satisfaction for three classes of service: video streaming quality, network speed, network coverage. In addition, the detection of dissatisfied customers can be easily extended to the identification of under-performing radio cells, since for each user are used the data of the most visited radio cell only. Assuming that users who spend most of their time in poorly performing cells experience low quality service, the major objective is to understand whether it is possible to identify the network services or procedures that cause the perceived poor quality of service. The different network aspects that most affect the user experience are: Accessibility, Retainability, Mobility, Integrity and Availability of the mobile service. The proposed method has been validated on the entire Italian LTE network of a large European mobile operator. In fact, we will collect, through customer responses to a satisfaction survey campaign on service classes that contains when and which cells are visited by customers, the network side measurements that the operator stores in the Operational Support System. Afterwards we will proceed to a composition of Key Performance Indicators (KPIs) that can significantly describe the different network aspects mentioned above, and finally we will implement the engineering of these KPIs in order to extract as much information as possible from the customer visit days. Therefore, we will assess the impact of the application of different Machine Learning algorithms to predict the level of user satisfaction for the different classes of service. Finally, we will evaluate how certain KPIs impact on the perceived quality of the different services on the models. The results suggest that i) it is possible to predict a customer's satisfaction with the video streaming service by using network side data, as a matter of fact the measures of the success rate of handover procedures between different Radio Access Technology (RAT), the maximum number of users connected to the cell and the overall traffic volume have proved to have a high value in predicting satisfaction related to this service, in fact we reach improvements of 34% for the F1 score, and 12. 3% for the prediction accuracy with respect to the reference case; ii) measures about the success rate of the handover procedure between different communication frequencies in the same RAT and the connection to the radio cell, as well as the volume of download traffic have a direct impact on the quality of the network speed experience, allowing us to raise the accuracy of the model by 17.9% with respect to the reference threshold; (iii) time measurements of full and limited mobile service activity have a homogeneous impact on the perceived experience for all classes of service; (iv) the greater the number of network performance descriptors and survey responses which can be leveraged in the training of supervised machine learning models, the more accurate they are in recognizing the level of satisfaction of customers.

Le caratteristiche che il mercato della connettività di rete mobile andrà assumendo con la già consolidata diffusione della tecnologia 4G e con l'imminente distribuzione della tecnologia 5G, contestualmente all'incremento della domanda globale dei servizi ad essa connessi, apriranno uno scenario nuovo e ricco di sfide che gli operatori mobile dovranno affrontare rimodulando i loro investimenti in tutti i crescenti domini di rete ed orientandosi sempre più a fornire ai clienti la migliore Qualità del Servizio (QoS). Tale finalità, tuttavia, dovrà necessariamente associarsi a strategie operative che mirino a contrarre il numero dei churners, cioè di quei clienti che, insoddisfatti del servizio offerto, interrompono la loro sottoscrizione, ed a recuperare il loro consenso e la loro fiducia nel servizio sottoscritto. L'individuazione degli utenti insoddisfatti rappresenterà pertanto, per gli operatori mobile, il punto chiave per la successiva pianificazione strategica ed il monitoraggio del grado di soddisfazione dell'utente relativamente al servizio offerto. Il metodo che permetterà questa azione di controllo sarà la misurazione della Qualità dell'Esperienza (QoE) percepita dagli utenti. A causa dei costi elevati per condurre campagne di sondaggi e dei problemi legati ad esse, come la scarsa attitudine dei clienti a partecipare, è fondamentale per gli operatori investire nella ricerca riguardo la relazione tra QoS e QoE. Una soluzione efficace a questi problemi è l'uso di modelli di Machine Learning, in grado di predire direttamente la QoE dai dati piuttosto che collezionare feedbacks dei clienti. Questa tesi propone un metodo per la rilevazione di potenziali churners, predicendo il loro livello di soddisfazione per tre classi di servizio: qualità dello streaming video, velocità di rete, copertura di rete. Inoltre la rilevazione di clienti insoddisfatti è facilmente estendibile all'identificazioni di celle radio sotto performanti in quanto per ogni utente vengono usati i dati della sola cella radio più visitata. Assumendo che, gli utenti che passano la loro maggior parte del tempo in celle con prestazioni scadenti sperimentino un servizio di bassa qualità, l'obiettivo principale è capire se è possibile identificare i servizi o le procedure di rete che causano la scarsa qualità di servizio percepita. A tal proposito sono oggetto di studio di questa tesi i diversi aspetti di rete che influiscono maggiormente sull'esperienza utente: Accessibilità, Mantenibilità, Mobilità, Integrità e Disponibilità del servizio mobile. Il metodo proposto è stato validato sull'intera rete LTE Italiana di un grande operatore mobile Europeo. Raccoglieremo infatti, attraverso le risposte dei clienti ad una campagna di sondaggi sulla soddisfazione relativa alle classi di servizio contenente, tra l'altro, quando e quali celle vengono visitate dai clienti, le misurazioni lato rete che l'operatore immagazzina nell'Operational Support System. Procederemo poi ad una composizione di Key Performance Indicators (KPIs) che possano descrivere significativamente i diversi aspetti di rete sopra menzionati, per infine attuare l'ingegnerizzazione di questi KPI in modo da estrarre più informazione possibile dai giorni di visita del cliente. Valuteremo quindi l'impatto dell'applicazione di diversi algoritmi di Machine Learning atti a predire il livello di soddisfazione utente per le diverse classi di servizio. Infine, valuteremo sui modelli l'impatto di determinati KPI sulla qualità percepita per i diversi servizi. I risultati suggeriscono che i) è possibile predire la soddisfazione di un cliente riguardo al servizio di video streaming sfruttando i dati lato rete, infatti, le misure del tasso di successo delle procedure di handover tra diversi Radio Access Technology (RAT), il massimo numero di utenti connessi alla cella e il volume del traffico complessivo hanno dimostrato di avere un'alta valenza nella predizione della soddisfazione relativa a questo servizio, per questi motivi raggiungiamo migliorie del 34% per lo score F1, e del 12.3% per l'accuratezza di predizione rispetto al caso di riferimento; ii) misure sul tasso di successo della procedura di handover tra frequenze di comunicazione diverse nella stessa RAT e della connessione alla cella radio, oltre che il volume di traffico in scaricamento impattano direttamente sulla qualità dell'esperienza relativa alla velocità di rete, permettendoci di incrementare l'accuratezza del modello del 17,9% rispetto alla soglia di riferimento ; iii) le misurazioni temporali di pieno e limitato funzionamento del servizio mobile hanno un impatto omogeneo sull'esperienza percepita per tutte le classi di servizio; iv) maggiore è il numero dei descrittori delle prestazioni di rete e delle risposte ai sondaggi che è possibile sfruttare per l'addestramento di modelli di Machine Learning supervisionati, maggiore è la loro accuratezza di riconoscimento del livello di soddisfazione.