Dependency aware resource provisioning for serverless functions at the edge

Serverless computing is an increasingly widespread paradigm for deploying applications on resource-constrained infrastructures at the edge of the network, leveraging lightweight and modular functions in an environment where adhering to strict latency requirements is crucial. One major challenge in this environment is efficient and effective resource provisioning, that is, the runtime vertical scaling of deployed services to handle highly dynamic workload generate from users. A key factor, often overlooked, in developing a solid resource provisioning strategy and optimizing resource allocations is to consider dependencies between functions, and addressing surges in latency by providing more re- sources only to the application components that need it, and not to the ones that are waiting on them. This thesis addresses this inefficiency by translating the conceptual model of NEPTUNE+ —adependency-awareresourceallocationsolution—andintegratingitintoNEPTUNE’s existing Kubernetes-based prototype. NEPTUNE is an established network and GPU- aware framework for managing serverless functions at the edge. NEPTUNE+’s approach extends this framework with a new theoretical model and control algorithm that explicitly accounts for function dependencies, which are modeled using a Directed Acyclic Graph (DAG). A significant part of this work involved remodeling the dependency DAG and re- interpreting system metrics to calculate a function’s approximate external response time, thereby enabling the resource allocation control procedure to accurately target perfor- mance bottlenecks. We evaluated that the dependency-aware prototype outperforms NEPTUNE’s original implementation w.r.t. efficient resource allocation, while maintaining similar performance when comparing response times and Service-level Agreement violations

Il serverless computing è un paradigma sempre più diffuso per la distribuzione di appli- cazioni su infrastruttre edge, caratterizzate da una disponibilità di risorse limitata, che utilizza funzioni leggere e modulari in un campo dove rispettare tempi di risposta molto rigidi è di cruciale importanza. Una sfida importante in questa situazione è il provisioning efficiente di risorse, cioé lo scaling verticale a runtime dei servizi distribuiti per gestire traffico altamente variabile generato dagli utenti. Un fattore chiave, spesso trascurato, nello sviluppare una strategia di provisioning delle risorse e nell’ottimizare le allocazioni è considerare le dipendenze tra le funzioni, e affrontare potenziali ritardi rendendo più risorse disponibili solo alle funzioni che ne necessitano, e non a quelle che stanno solo in attesa di risposta. Questa tesi affronta queste inefficienze partendo dal modello concettuale introdotto da NEPTUNE+ — una soluzione per l’allocazione di risorse con consapevolezza delle dipen- denze — e integrandola all’interno del prototipo di NEPTUNE, basato su Kubernetes. NEPTUNE è un framework per la gestione di funzioni serverless su infrastrutture edge con supporto per GPU. L’approccio di NEPTUNE+ estende questo framework con un nuovo modello teorico e algoritmo di controllo che tengono conto delle dipendenze tra le funzioni, modellate usando un Grafo Orientato Aciclico (DAG). Una significativa parte di questo lavoro ha riguardato la rimodellazione del grafo delle dipendenze e la reinter- pretazione di metriche di sistema per calcolare un’approssimazione del tempo di ripsosta ‘esterno’ di ogni funzione, permettendo alla procedura di allocazione delle risorse di far fronte a potenziali colli di bottglia in modo corretto. Abbiamo valutato il prototipo con supporto per le dipendenze e verificato che i risultati prodottifosseromiglioridell’implementazioneoriginalediNEPTUNEperquantoriguarda l’allocazione di risorse efficiente, mantenendo una performance simile per quanto riguarda i tempi di risposta e violazioni di Service-level agreement.