Analog in-memory computing circuit for AI acceleration with high-density embedded phase change memory

Artificial Intelligence AI enabled by Machine Learning (ML) is significantly changing our daily lives by influencing various fields such as education, healthcare, manufacturing, art, and academia. Over the past few years, ML has demanded an impressive growth rate in hardware computation capabilities and throughput, achieved through the massive parallelism offered by GPUs. The increase in compute capabilities, as well as the very large number of parameters in ML models, is aggravating the already existing compute-memory performance gap, as traditional memory capacity is growing at a much slower rate than computing. This progressively brings accelerators closer to hitting the Memory Wall, where most of the time and energy employed during computation is dedicated to memory access. Additionally, parallelism allows for a greater throughput, provided that more energy is consumed. Specialized ML data centers hosting thousands of computing units are now demanding up to $1\%$ of global electrical energy consumption, a number that is most likely to increase. In-Memory Computing (IMC) performs analog computation within memory, reducing data transfer overhead. By utilizing the matrix-like structure of traditional or emerging Non-Volatile Memories (eNVM), IMC accelerates Matrix-Vector Multiplications (MVM), crucial for ML models. A key challenge in deploying IMC includes the requirement for Analog-to-Digital Converters (ADCs) to digitize analog signals and address non-ideal effects associated with analog circuits in scaled technologies. This Master’s Thesis investigates the implementation of an IMC platform for general-purpose ML model inference, utilizing a cross-point array with bit-cells incorporating Phase-Change Memory (PCM) as the resistive memory element and a Bipolar Junction Transistor (BJT) as the selector. It proposes an ADC based on a current-controlled oscillator for efficient current-to-frequency-to-digital conversion of the cross-point output current. The ADC features a low-voltage, low-power superlinear current mirror designed for analog compensation of cross-point nonlinearities. This design is integrated within STMicroelectronics' 28 nm FDSOI technology, resulting in a test chip for future measurements.

L'intelligenza artificiale (AI), realizzata tramite il Machine Learning (ML), sta trasformando la nostra vita quotidiana, influenzando settori come l'istruzione, la sanità, l'arte e il mondo accademico. Negli ultimi anni, il ML ha richiesto un aumento significativo della potenza computazionale, reso possibile dal parallelismo offerto delle GPU. Tuttavia, l'aumento della capacità di elaborazione e l'incremento del numero dei parametri nei modelli di ML stanno accrescendo il divario di prestazioni tra memoria e unità di calcolo, con la capacità delle memorie che cresce a un ritmo molto più lento. La maggior parte del tempo e dell'energia durante l'esecuzione delle istruzioni infatti viene spesa nell'accesso alla memoria per il recupero dei dati. Inoltre, parallelizzare molte unità di calcolo richiede una maggiore spesa di energia, portando le infrastrutture che forniscono questa potenza computazionale a contribuire fino all'1\% dell'energia elettrica globalmente disponibile, con previsione di ulteriore crescita negli anni a venire. Il calcolo in memoria (CIM) esegue elaborazioni analogiche all'interno della memoria, eliminando dunque la necessità di trasferire dati tra memoria e unità di calcolo. Sfruttando la struttura matriciale delle memorie, il CIM accelera le moltiplicazioni matrice-vettore, essenziali per i modelli ML. Una sfida nell'implementazione del CIM è la necessità di convertitori analogico-digitali (ADC) per digitalizzare i segnali analogici, oltre a gestire le non idealità dei circuiti analogici in tecnologie scalate. Questa tesi esamina l'implementazione di una piattaforma CIM per l'inferenza di modelli AI, utilizzando un array di memorie resistive basate su memorie a cambiamento di fase (PCM) e un transistor a giunzione bipolare (BJT) come selettore. Viene inoltre introdotto ed esaminato un ADC basato sulla conversione da corrente a frequenza, dotato di uno specchio di corrente che compensa le non linearità dell'array di memoria. Questo progetto è integrato nella tecnologia FDSOI a 28 nm di STMicroelectronics, culminando in un chip per future misurazioni.