Tecniche di reinforcement learning per la composizione dinamica di servizi in ambiente distribuito

Large, complex and completly distributed systems are increasingly common in today distributed IT infrastructures. Such systems are characterized by a large number of devices, named nodes, interconnected among themselves through a computer network, in order to complete some tasks. Some of these nodes, named resources, exhibit different functionalities in the form of services. The resources are characterized by functional constraints, in other words dependencies with other resources, which must be resolved in order to provide the exposed services. In addition to the functional parameters, the services are described by non functional parameters, or qualitative parameters, named quality of service QoS (availability, cost, response time, etc.). In this context the applications arise as composition of services, which are exposed in the system. The dynamism and the variability of the functional and non functional traits of the resourses push the control of the compositions and the load balancing among the resources issues well beyond traditional scenarios. Various solutions, like gossip algorithms and the autonomic computing paradigm, are been proposed to manage such issues, nevertheless all of them caused inefficiencies and dissatisfaction by the side of users of the services. Our approach consists in the application of reinforcement learning techniques, or learning strategies, inside the system in order to face the dynamism and the variability issues arised in the analyzed contex, so as the users can learn informations and gain experiences in order to be able to manage efficaciously and efficiently the decision-making process. Varius solutions are been prepared in order to show empirical results on which can be tested the effectiveness and efficiency of the learning strategies which were proposed to face the issues about the compositions of the servises.

I sistemi complessi, di grande dimensione e completamente distribuiti stanno diventando sempre più comuni nello scenario dell’infrastruttura IT. Tali sistemi sono caratterizzati da un elevato numero di dispositivi, detti nodi, interconnessi fra loro mediante una rete di calcolatori, con l'obiettivo di risolvere determinati compiti. Alcuni di questi nodi, detti risorse, espongono diverse funzionalità sotto forma di servizi. Le risorse sono caratterizzate da vincoli funzionali, cioè dipendenze con altre risorse, che devono essere risolti per far si che i servizi vengano espletati. Oltre ai parametri funzionali, i servizi sono dotati anche di parametri non funzionali e qualitativi, detti QoS (disponibilità, costo, tempo di risposta, etc.). Le applicazioni, che si sviluppano in questo contesto, nascono come composizioni di servizi presenti nel sistema. La dinamicità e la variabilità delle caratteristiche, sia funzionali che non, delle risorse fa si che la gestione e il controllo delle composizioni di servizi e del bilanciamento del carico di lavoro sulle risorse stesse risultino essere molto complessi e di difficile gestione. Svariate soluzioni sono state proposte per gestire tali problematiche, come algoritmi di gossip e paradigmi di autonomic computing, ma tutte hanno comportato la presenza di alcune situazioni di inefficienza e insoddisfazione da parte dei fruitori dei servizi esposti. Il nostro approccio consiste nell'applicare tecniche di reinforcement learning, ovvero strategie di apprendimento, all'interno del sistema per poter far fronte alla dinamicità e variabilità intrinseca dell'ambiente operativo, così da permettere ai fruitori dei servizi di apprendere informazioni ed esperienze in grado di rendere il processo di decision-making più efficace ed efficiente. Sono state predisposte e utilizzate diverse prove sperimentali con l'obiettivo di esporre risultati empirici sui quali testare l'effettività e l'efficacia delle strategie di apprendimento proposte per la gestione delle composizioni dinamiche di servizi.