A Runtime Resource Manager for distributed edge platforms in the IoMT scenario

This thesis introduces a Runtime Resource Manager (RRM) designed to orchestrate the execution of biomedical applications across distributed and heterogeneous systems. Modern Internet of Medical Things (IoMT) systems are characterized by dynamic workloads, heterogeneous devices, and a continuously mutable environment. In these systems, a need arises for an intelligent resource allocator to replace traditional static ones. Such solutions must provide all the advantages of distributed systems while remaining accessible to domain experts, such as biomedical researchers, who may lack specialized knowledge in distributed computing. The proposed framework addresses these challenges by implementing a hierarchical architecture composed of a central global orchestrator and multiple local managers. The former manages available resources to ensure efficient application execution by selecting their distribution across the available nodes, while the locals act upon the orchestrator commands running the applications. A black-box policy engine determines what resources are exploited, by encapsulating the decision logic of the system, and allows optimization goals to be changed at runtime without service interruption. An application abstraction is proposed to manage distributed communications and synchronization between nodes without developer intervention. The RRM is validated through an experimental campaign to evaluate its behavior, performance and to quantify the introduced overhead with respect to the benefits of the autonomous and flexible management of the resources/applications. The system can dynamically deploy and manage applications as they join or leave the network, adapt to diverse hardware capabilities (e.g., battery-powered vs. plugged-in nodes), and maintain ongoing execution despite changes in resource availability; all without requiring developer intervention. As far as overheads are concerned, when applications are executed within the proposed framework involving the RRM, the intrinsic runtime overhead on a single node remains below 6% in terms of energy; when applications are distributed across multiple nodes, energy consumption increases predictably with the number of nodes and the amount of data exchanged. In IoMT deployments, this trade-off is considered acceptable, as the resulting adaptability, scalability, and flexibility significantly outweigh the additional energy consumption introduced by distribution.

Questa tesi introduce un Runtime Resource Manager (RRM) per orchestrare l’esecuzione di applicazioni biomediche in un sistema eterogeneo e distribuito. I moderni sistemi Internet of Medical Things (IoMT) sono caratterizzati da carichi dinamici, eterogeneità e una continua evoluzione del loro scenario. In questi sistemi, emerge la necessità di un gestore dinamico che possa sostituire gli approcci statici. Questo sistema deve offrire tutti i vantaggi dell’architettura distribuita pur rimanendo utilizzabile da personale privo di conoscenze specifiche in tale ambito. Il framework proposto affronta queste sfide implementando un’architettura gerarchica, composta da un orchestratore globale centrale e da molteplici gestori locali. L’orchestratore gestisce le risorse disponibili per garantire l’esecuzione efficiente delle applicazioni, selezionandone la distribuzione sui nodi disponibili, mentre i gestori locali applicano i comandi dell’orchestratore ed eseguono le applicazioni. Un sistema di politica black-box sceglie quali risorse sono utilizzate, racchiudendo la logica decisionale, e permette di cambiare gli obbiettivi di sistema durante l’esecuzione senza interrompere il servizio offerto. Viene inoltre proposta un’astrazione applicativa che gestisce la comunicazione e la sincronizzazione tra i vari nodi senza l’intervento dello sviluppatore. Il RRM è stato validato attraverso una campagna sperimentale volta a valutare il comportamento, le prestazioni e a quantificare l’overhead introdotto rispetto ai benefici offerti dalla gestione autonoma e flessibile delle risorse e delle applicazioni. Il sistema è in grado di distribuire e gestire dinamicamente le applicazioni man mano che esse si uniscono o lasciano la rete, adattandosi alle diverse capacità hardware (ad esempio, nodi alimentati a batteria o collegati alla rete elettrica) e mantenendo l’esecuzione in corso anche in presenza di variazioni nella disponibilità delle risorse, il tutto senza richiedere intervento da parte dello sviluppatore. Per quanto riguarda l’overhead, durante l’esecuzione di applicazioni su un singolo nodo, l’incremento energetico intrinseco introdotto dal RRM rimane inferiore al 6%; quando invece le applicazioni vengono distribuite su più nodi, il consumo energetico aumenta in modo prevedibile con il numero di nodi e con la quantità di dati scambiati. Nei contesti IoMT, tale compromesso è considerato accettabile, poiché i benefici in termini di adattabilità, scalabilità e flessibilità superano ampiamente l’incremento di consumo energetico introdotto dalla distribuzione.