Deep neural network mapping algorithm for non-volatile memory-based reconfigurable accelerators

The rapid expansion of artificial intelligence (AI) in edge computing applications has intensified the need for advanced processing systems capable of executing multiple AI models with high performance and low energy consumption. This paradigm shift presents unique challenges in visual sensing and processing, necessitating innovative approaches to harness AI models' potential within resource-constrained edge devices. This thesis introduces a reconfigurable AI accelerator based on the 3D-stacking of multicore processing units and high-density nonvolatile memory (NVM). The architecture implements the concept of virtual neural network (VNN), where the number of available parameters for computation significantly exceeds the computing layer memory, thanks to the high-density NVM. The VNN concept enables the execution of large and/or multiple AI models with limited computing memory resources via rapid reconfiguration of parameters from the NVM, thus facilitating accurate and efficient image recognition tasks. Key contributions of this work include are: (1) a compact model for mapping and scheduling generic deep neural networks (DNNs) within the accelerator's multiple computing cores, (2) the design of a 3D-stacked NVM for parameter storage, enabling fast online reconfiguration, (3) a comprehensive assessment of the proposed VNN system in terms of reconfiguration speed and energy consumption, considering particularly phase-change memory (PCM). This work establishes VNN as a promising foundation for edge AI accelerators, showcasing enhanced efficiency, performance, and accuracy through design/technology co-optimization in novel reconfigurable systems. The proposed approach paves the way for more powerful edge computing devices capable of handling complex AI systems with improved resource utilization.

La rapida espansione dell'intelligenza artificiale nelle applicazioni di edge computing ha intensificato la necessità di sistemi di elaborazione avanzati capaci di eseguire molteplici modelli di intelligenza artificiale con alte prestazioni e basso consumo energetico. Questa tesi introduce un acceleratore di intelligenza artificiale riconfigurabile basato sullo stacking tridimensionale di unità di elaborazione multi-core e memoria non volatile ad alta densità. L'architettura implementa il concetto di rete neurale virtuale, dove il numero di parametri disponibili per il calcolo supera significativamente la memoria dello strato di elaborazione, grazie alla memoria non volatile ad alta densità. Il concetto di rete neurale virtuale consente l'esecuzione di modelli di intelligenza artificiale grandi e/o multipli con risorse di memoria di elaborazione limitate attraverso una rapida riconfigurazione dei parametri dalla memoria non volatile, facilitando così una classificazione delle immagini accurata ed efficiente. I contributi chiave di questo lavoro includono: (1) un modello compatto per la mappatura e lo scheduling di reti neurali profonde generiche all'interno dei molteplici core di elaborazione dell'acceleratore, (2) la progettazione di una memoria non volatile 3D-stacked per l'archiviazione dei parametri, consentendo una rapida riconfigurazione online, (3) una valutazione completa del sistema di rete neurale virtuale proposto in termini di velocità di riconfigurazione e consumo energetico, considerando in particolare la memoria a cambiamento di fase (PCM). Questo lavoro valida il concetto di rete neurale virtuale come una base promettente per acceleratori di intelligenza artificiale edge, mostrando una maggiore efficienza, prestazioni e accuratezza attraverso la co-ottimizzazione del design e della tecnologia in nuovi sistemi riconfigurabili. L'approccio proposto apre la strada a dispositivi di edge computing più potenti, capaci di gestire sistemi di intelligenza artificiale complessi con un miglior utilizzo delle risorse.