Partitioning managing Artificial Intelligence in computing continua for smart eyewear

Smart Eye-Wear (SEW) devices represent a transformative paradigm in wearable computing, which enables real-time AI-powered applications such as object detection, scene understanding, and augmented reality experiences across diverse domains including healthcare, navigation, education, entertainment, and industrial assistance. These devices utilize Deep Neural Networks, which necessitate substantial computational resources to provide advanced functionalities that augment human capabilities and transform our interaction with our surroundings. However, SEW are resource-constrained devices, which possess limited computational power, memory capacity, and battery life. This creates fundamental challenges for executing complex AI applications while maintaining satisfactory user experience. The mismatch between AI computational demands and SEW resource availability requires intelligent task offloading strategies that can help distribute processing across heterogeneous computing environments, which comprise local devices, edge servers, and cloud infrastructure in a Computing Continuum paradigm. The effective management of AI execution in such resource-constrained, distributed environments poses significant optimization challenges. AI applications requires real-time guarantee while at the same time minimizing energy consumption and communication costs, often requiring dynamic adaptation to changing network conditions and varying computational loads. Furthermore, many critical applications demand accuracy guarantees, which creates complex multi-objective optimization problems where traditional approaches prove inadequate. The dynamic nature of SEW environments, which is characterized by mobility, variable connectivity, and heterogeneous resource availability, imposes adaptive runtime management strategies. This dissertation addresses these challenges by investigating reinforcement learning approaches for intelligent resource management in SEW-centric AI execution. The research proposes mathematical formulations for identified problems which comprise multiple competing objectives and proposes reinforcement learning algorithms, progressing from foundational tabular methods to advanced hierarchical multi-agent systems. The work establishes frameworks that balance energy efficiency, execution performance, communication costs, and application accuracy across distributed computing environments. This dissertation considers AI applications based on a single component or those based on a pipeline, federated learning scenarios, and extensions to serverless computing environments. The proposed approaches demonstrate significant improvements over existing methods through extensive experimental validation in both simulated and real-world prototype environments based on Microsoft HoloLens 2. The research establishes reinforcement learning as a fundamental technology that enables efficient AI execution in SEW resource-constrained environments, and provides theoretical foundations and practical frameworks for next-generation AI-enhanced wearable technologies.

I dispositivi Smart Eye-Wear (SEW) rappresentano un paradigma trasformativo nel campo del wearable computing, che consente applicazioni AI in tempo reale, quali il rilevamento di oggetti, la comprensione della scena e le esperienze di realtà aumentata, in domini diversificati tra cui la sanità, la navigazione, l'istruzione, l'intrattenimento e l'assistenza industriale. Questi dispositivi si avvalgono di Reti Neurali Profonde, che richiedono ingenti risorse computazionali per fornire funzionalità avanzate in grado di potenziare le capacità umane e trasformare la nostra interazione con l'ambiente circostante. Tuttavia, i dispositivi SEW sono caratterizzati da risorse limitate: possiedono potenza di calcolo, capacità di memoria e autonomia energetica ridotte. Ciò genera sfide fondamentali nell'esecuzione di applicazioni AI complesse, mantenendo al contempo un'esperienza utente soddisfacente. Il disallineamento tra le esigenze computazionali dell'intelligenza artificiale e le risorse disponibili sui dispositivi SEW richiede strategie intelligenti di offloading dei task, in grado di distribuire l'elaborazione su ambienti di calcolo eterogenei, comprendenti dispositivi locali, server edge e infrastrutture cloud nel paradigma del Computing Continuum. La gestione efficace dell'esecuzione AI in ambienti distribuiti e a risorse limitate pone significative sfide di ottimizzazione. Le applicazioni AI richiedono garanzie di esecuzione in tempo reale, minimizzando contestualmente il consumo energetico e i costi di comunicazione, e spesso necessitano di un adattamento dinamico a condizioni di rete variabili e a carichi computazionali mutevoli. Inoltre, molte applicazioni critiche esigono garanzie di accuratezza, generando complessi problemi di ottimizzazione multi-obiettivo per i quali gli approcci tradizionali si rivelano inadeguati. La natura dinamica degli ambienti SEW — caratterizzata da mobilità, connettività variabile ed eterogeneità nella disponibilità delle risorse — impone l'adozione di strategie adattive di gestione a runtime. La presente dissertazione affronta queste sfide attraverso lo studio di approcci basati sull'apprendimento per rinforzo per la gestione intelligente delle risorse nell'esecuzione AI incentrata sui dispositivi SEW. La ricerca propone formulazioni matematiche per i problemi identificati, i quali comprendono molteplici obiettivi in competizione, e presenta algoritmi di apprendimento per rinforzo che evolvono da metodi tabulari fondamentali fino a sistemi gerarchici multi-agente avanzati. Il lavoro definisce framework in grado di bilanciare efficienza energetica, prestazioni di esecuzione, costi di comunicazione e accuratezza delle applicazioni in ambienti di calcolo distribuiti. La dissertazione considera applicazioni AI basate su un singolo componente o su una pipeline, scenari di federated learning ed estensioni a contesti di serverless computing. Gli approcci proposti dimostrano miglioramenti significativi rispetto ai metodi esistenti, attraverso un'estesa validazione sperimentale condotta sia in ambienti simulati sia in prototipi reali basati su Microsoft HoloLens 2. La ricerca stabilisce l'apprendimento per rinforzo come tecnologia fondamentale per l'esecuzione efficiente dell'AI in ambienti SEW a risorse limitate, fornendo al contempo basi teoriche e framework pratici per le tecnologie indossabili di nuova generazione potenziate dall'intelligenza artificiale.