SPACE4AI-R : runtime management tool for aI applications component placement and resource selection in computing continua

The importance and pervasiveness of Artificial Intelligence (AI) are dramatically increasing in these years, together with an accelerated migration towards Internet of Things, determining the rise of the Edge computing paradigm. According to this trend, Edge intelligence is expected to become the foundation of many AI applications use cases, spanning from predictive maintenance to machine vision and healthcare. Edge computing generates a fragmented scenario, where computing and storage power are distributed among multiple devices with highly heterogeneous capacities. In this framework, component placement and resource selection become crucial to arrange in the most convenient way the available resources of the Computing Continuum. In this work, we propose SPACE4AI-R, a tool to effectively address the runtime management of AI applications component placement and resource selection in the Computing Continuum. Through a Random Search combined with a Stochastic Local Search algorithm, SPACE4AI-R copes with runtime workload fluctuations by identifying the cost-optimal reconfiguration of the initial production deployment, while providing performance guarantees across heterogeneous resources including Edge devices and servers, Cloud GPU-based Virtual Machines and Function as a Service solutions. Experimental results show that our tool efficiently finds placement reconfigurations in a real use case of identifying wind turbines blade damage, and can manage large-scale systems providing remarkable cost savings over static placements, while keeping execution time in the order of seconds.

L'importanza e la pervasività dell'Intelligenza Artificiale (IA) sono attualmente in continua crescita, assieme alla rapida migrazione verso l'Internet of Things (IoT), determinando la nascita del paradigma dell'Edge Computing. Secondo questo trend, l'intelligenza Edge diventerà il caposaldo di molte applicazioni di IA, che vanno dalla manutenzione predittiva alla realtà virtuale e all'assistenza sanitaria. L'Edge computing ha generato uno scenario frammentato, dove potenze di calcolo e memoria sono distribuite tra diversi dispositivi con capacità eterogenee. In tale contesto, l'allocazione delle applicazioni di IA e la selezione delle risorse diventano cruciali per gestire le risorse disponibili nel modo più efficiente e conveniente possibile. In questo lavoro proponiamo SPACE4AI-R, un tool che gestisce l'allocazione dei componenti e delle risorse a runtime. Tramite un algoritmo di Ricerca Casuale Globale combinato con una Ricerca Locale Stocastica, SPACE4AI-R gestisce le fluttuazioni di carico a runtime, determinando la riconfigurazione costo ottimale della soluzione precedente, garantendo il rispetto dei requisiti di performance richiesti dall'utente. Le risorse considerate in questo lavoro comprendono dispositivi Edge, Macchine Virtuali Cloud con GPU, e soluzioni Function as a Service. Risultati sperimentali dimostrano che il nostro tool è in grado gestire in modo efficiente un caso di studio reale riguardante la manutenzione predittiva di un parco eolico, ed è grado di governare sistemi a grande scala, mantenendo i tempi di esecuzione dell'ordine dei secondi.