Web.isfaction : progettazione e sviluppo di un sistema di misura web per la valutazione della quality of experience in servizi di video streaming

Today the worldwide Internet scenario of broadband access network has reached such a development that characterizing the Internet services is getting more and more important for the users. The Internet Service Providers are facing the issue of competing in a market where increasingly aware customers are looking for offers that reach the best price/quality ratio, in order to satisfy their needs as fully as possible. The global IT scenario is thus investigating, with the help of both costumer and regulator organizations, new frameworks to define tools and conventions to establish a fair and objective way to measure the quality of service offered by the Internet Provider and to correlate it uniquely with the quality that the user can perceive during his experience. The main goal of this thesis project is to analyze in more detail the relationship between Quality of Service (QoS), defined at different levels, and the eventual user experience, quantified by Quality of Experience (QoE) metrics. Therefore Web.isfaction has been designed and developed, a framework for the active measure of broadband internet network performances. Web.isfaction was born within a larger project promoted by ICT Consulting SpA with the aim of overcoming the basic paradigm of common web-based speedtests and is able to provide an evaluation of the QoE at the application level and to estimate the actual User Experience. A testing methodology and a new process of QoE evaluation have been created, according to crowdsourcing techniques, and applied to the most widespread Video Streaming services on the Web, which are based on HTTP/TCP protocols. The testing framework has been developed and published in beta version in order to collect measurements and feedbacks from the users. The collected data has been analyzed by exploring trends and dependencies of the indicators of QoS and QoE, and has provided useful information on the performance of broadband access networks and on the actual user’s satisfaction for Video Streaming services. The feedbacks of the users, given through a dedicated section, have allowed us to obtain useful information for the validation of the methodology and the parameters used to auto-estimate the Video QoE, starting from the Key Performance Indicator of QoS.

Il mercato dei servizi d'accesso ad Internet a larga banda, fisso e mobile, ha raggiunto una fase di sviluppo in cui assume sempre maggior rilievo l'esigenza di caratterizzare il servizio dal punto di vista della risposta alle esigenze dei clienti. Gli operatori si stanno ponendo il problema di confrontarsi su un piano competitivo in cui utenti sempre più consapevoli ricercano le offerte che coniugano il miglior rapporto prezzo/qualità, puntando a soddisfare al meglio la loro esperienza di fruizione dei servizi. Pertanto si stanno studiando strumenti, con il coinvolgimento di associazioni di categoria degli utenti e dei regolatori, per definire convenzioni e metodologie che possano essere usati per stabilire in modo equo, oggettivo e misurabile il grado di qualità del servizio offerto dall'operatore, correlandolo in modo univoco con la qualità dell'esperienza percepita dall'utente. L’obiettivo che si pone questo lavoro di tesi è quello di analizzare in modo più approfondito la relazione tra la Quality of Service (QoS), definita a diversi livelli, e la finale User Experience, declinata in indicatori di Quality of Experience (QoE), e svilupparne un sistema di misura. È stato quindi progettato e sviluppato un sistema di misura di tipo attivo, Web.isfaction, nato all’interno di un progetto più vasto promosso da ICT Consulting S.p.A. , con lo scopo di superare il semplice paradigma dello speedtest web, in grado di fornire una valutazione della QoE a livello applicativo e di stimare la reale User Experience. Sono stati ideati una metodologia di testing ed un processo di valutazione della QoE orientato al paradigma del crowdsourcing, che sono stati applicati nello specifico ai servizi di Video Streaming più diffusi sul web, basati su HTTP/TCP. Il sistema di testing è stato sviluppato e distribuito in versione beta con lo scopo di raccogliere misure e feedback degli utenti. I dati raccolti sono stati analizzati esplorando andamenti e dipendenze degli indicatori di QoS e QoE ed hanno fornito utili informazioni sulle reali prestazioni delle reti d’accesso a larga banda e sul grado di soddisfazione degli utenti per servizi di Video Streaming. I dati forniti dagli utenti che, attraverso una sezione dedicata dello strumento, hanno espresso il grado di soddisfazione nella fruizione di video on-line, hanno fornito elementi utili per la validazione della metodologia e dei parametri utilizzati nella stima automatica della Video QoE, partendo dagli indicatori di QoS misurati.