System-level design and modeling of an in-memory computing accelerator

The deployment of Convolutional Neural Networks (CNNs) on resource-constrained edge devices is limited by a strict memory bandwidth and power budget. CNNs are characterized by millions of parameters, and Von Neumann architectures face severe energy bottlenecks when executing them due to the high data movement required. Therefore, moving away from the classical paradigm, DIMC merges the memory and computational units, maximizing data locality. However, offloading a CNN workload to these units introduces a secondary data-movement and performance penalty. This is because there is a need to map the 3D tensors of the CNN layer into 2D matrices suitable for the DIMC. To evaluate whether the benefits of the DIMC outweigh the mapping overhead, a fullsystem evaluation is required. Unlike RTL, which focuses on low-level details such as the number and types of logic units and their interconnections, a higher-level model is required to analyze system bottlenecks, and it permits a more extensive exploration of the architecture and the mapping. Thus, we propose the first gem5 DIMC parametric model in the literature. This model provides cycle-accurate simulation of a wide range of DIMC units, ensuring functional correctness and accurate energy estimation. Then this DIMC model has been used to define a suitable edge-AI accelerator for CNNs, demonstrating the potential of this parametric tool and the high efficiency achievable with DIMC, by integrating it as a loosely coupled accelerator in a 28 nm edge SOC. Thereafter, the gem5 cycle-accurate simulator was used to quantify the system-level performance of this setup. The simulation results showed a 75% reduction in total system energy compared to the baseline. In addition, the proposed SoC achieved a 12.4× reduction in energy and a 2.74× execution speedup on specific CNN workloads. Consequently, this proves the advantage and benefits of the integration of the DIMC into edge-constrained devices and that the DIMC benefits outweigh the im2Col overheads.

Il deployment di Convolutional Neural Networks (CNNs) su dispositivi edge è vincolato da stringenti budget di memoria e consumo di energia. Le CNN sono caratterizzate da milioni di parametri e le architetture Von Neumann incontrano gravi colli di bottiglia energetici durante la loro esecuzione a causa dell’elevato movimento di dati richiesto. Per questo motivo, superando il paradigma classico, il DIMC unisce memoria e unità di calcolo in un’unica unità, massimizzando la data locality. Tuttavia, l’offloading di un workload di CNN su queste unità introduce una penalità secondaria in termini di quantità di dati mossi e prestazioni. Ciò è dovuto alla necessità di mappare i tensori 3D del layer CNN in matrici 2D adatte al DIMC. Per valutare se i benefici del DIMC superino l’overhead di mapping, è necessaria una valutazione a livello di sistema (fullsystem evaluation). A differenza dell’RTL, che si concentra su dettagli di basso livello come il numero e i tipi di unità logiche e le loro interconnessioni, è richiesto un modello di livello superiore per analizzare i colli di bottiglia del sistema e consentire un’esplorazione più ampia dell’architettura e del mapping. Per questo proponiamo il primo modello parametrico gem5 DIMC presente in letteratura. Questo modello fornisce una simulazione cycle-accurate di un’ampia gamma di unità DIMC, garantendo functional correctness e una stima energetica accurata. Successivamente, il modello DIMC è stato utilizzato per definire un adeguato edge-AI accelerator per CNN, dimostrando il potenziale di questo strumento parametrico e l’elevata efficienza ottenibile con il DIMC, integrandolo come loosely coupled accelerator in un edge SoC a 28 nm. In seguito, il simulatore gem5 cycleaccurate è stato impiegato per quantificare le prestazioni a livello di sistema di questa configurazione. I risultati delle simulazioni mostrano una riduzione del 75% dell’energia totale di sistema rispetto al baseline. Inoltre, il SoC proposto ha ottenuto una riduzione energetica di 12.4× e uno speedup di esecuzione di 2.74× su specifici workload CNN. Di conseguenza, questi risultati dimostrano i vantaggi dell’integrazione del DIMC nei dispositivi edge con risorse limitate e che i benefici del DIMC superano gli overhead di im2Col.