Analog circuit design for in-memory linear algebra accelerators

Ever since its introduction in 1945, computing systems have been built around von Neumann's architecture, predicating the physical separation of memory and computing units on grounds of flexibility and generality. At the same time, Moore's law has dominated the scaling paradigm by predicting a yearly doubling in the number of transistors, consequently driving both academic and industrial efforts in the continuous miniaturization process. However, as data generation rates exceed the quintillion bytes per year and physical limits of complementary-metal-oxide-semiconductor (CMOS) technology mark the end of classical scaling, the increasingly data-driven workloads of modern-day applications exacerbate the energy and latency overheads associated with continuous data shuttling. In-memory computing (IMC) radically subverts the classical paradigm by performing computation \textit{in situ} within the memory elements by exploiting physical laws, unlocking theoretically unrivaled throughput and energy efficiency improvements. Among the wide spectrum of proposed IMC architectures, closed-loop in-memory computing (CL-IMC) with emerging memory devices has attracted interest for its capability to accelerate computationally heavy operations of increasing use in artificial intelligence and machine learning, such as matrix inversion and linear regression. This doctoral thesis focuses on the study, design, and testing of analog closed-loop circuits for in-memory accelerators. A complete mathematical theory for both static and dynamic properties of in-memory, linear matrix feedback circuits is rigorously derived and employed as the core engine of a matrix-based circuit simulator providing orders-of-magnitude speedups with respect to SPICE solvers. To expand the operational portfolio, several new circuits for the acceleration of regularized regressions, such as ridge and LASSO, matrix decomposition, and linear quadratic estimation, are introduced and characterized in terms of their accuracy and speed, demonstrating orders-of-magnitude improvement with respect to conventional digital solvers in selected applications including baseband processing in 6G communication systems, principal component analysis for data classification, and Kalman-filter-based sensor fusion. Experimental demonstrations on both CMOS-based systems and emerging-memory-based platforms complement the research work by providing real-world implementation of CL-IMC topologies and proving the feasibility of proposed solutions. The obtained results strengthen the position of CL-IMC as a promising candidate for next-generation energy-efficient algebraic accelerators. a

Fin dalla sua introduzione nel 1945, i sistemi di calcolo sono stati costruiti attorno all'architettura di von Neumann, basata sulla separazione fisica della memoria e dell'unità di calcolo per garantire flessibilità e generalità. Allo stesso tempo, la legge di Moore ha dominato il paradigma di scaling prevedendo un raddoppio annuale del numero di transistor, guidando di conseguenza gli sforzi sia accademici che industriali nel continuo processo di miniaturizzazione. Tuttavia, da un lato negli ultimi decenni sono stati progressivamente raggiunti i limiti fisici della tecnologia CMOS (metallo-ossido-semiconduttore complementare), che segnano il tramonto dell'era dello scaling classico. Dall'altro, la crescente centralità dei dati nei moderni carichi computazionali, con il tasso di generazione annuale di informazione che ha recentemente ecceduto il quintilione di byte all'anno, comporta un dispendio crescente di energia e latenza dovuto alla continua necessità di trasferire i dati da un'unità all'altra. Il calcolo in-memoria (IMC) sovverte radicalmente il paradigma classico effettuando la computazione in situ all'interno degli elementi di memoria sfruttando leggi ed equivalenti fisici, con la promessa di impareggiabili efficienze energetiche e computazionali. Nell'ampio spettro di architetture IMC proposte negli ultimi anni, il calcolo in-memoria ad anello chiuso (CL-IMC) con dispositivi emergenti ha riscosso interesse per la sua capacità di accelerare operazioni computazionalmente pesanti di crescente utilizzo nell'intelligenza artificiale e nel machine learning, come l'inversione di matrice e la regressione lineare. Questa tesi di dottorato si concentra sullo studio, la progettazione e la validazione sperimentale di circuiti analogici ad anello chiuso per acceleratori in memoria. Si introduce una teoria matematica completa per l'analisi delle proprietà statiche e dinamiche dei circuiti matriciali in retroazione, impiegata come fondamento principale di un simulatore circuitale in grado di fornire accelerazioni di ordini di grandezza rispetto ai risolutori SPICE. Per espandere il portfolio di operatori, vengono introdotti e caratterizzati in termini di accuratezza e velocità diversi nuovi circuiti per l'accelerazione di regressioni regolarizzate, come ridge e LASSO, decomposizione di matrici e stima quadratica lineare, dimostrandone i vantaggi rispetto ai convenzionali solutori digitali in applicazioni selezionate, tra cui l'elaborazione in banda base nei sistemi di comunicazione 6G, l'analisi delle componenti principali per la classificazione dei dati e la sensor fusion basata su filtri di Kalman. Completano il lavoro di ricerca dimostrazioni sperimentali in tecnologia CMOS e su piattaforme a memorie emergenti, in modo da fornire implementazioni realistiche delle topologie CL-IMC e dimostrare la fattibilità delle soluzioni proposte. I risultati ottenuti rafforzano la posizione del CL-IMC come promettente candidato per gli acceleratori algebrici di nuova generazione ad alta efficienza energetica.