Investigation on a neuromorphic digit classifier based on NOR flash arrays

Artificial Neural Networks (ANNs) are often successfully applied to problems for which no simple algorithmic solution exists, but can be easily addressed by some inference from a set of examples. Thanks to a learning phase, an ANN is able to adjust its internal parameters to behave in a certain way when inputs with similar features are supplied. Hence, taking inspiration from the concepts exploited by human brain to elaborate information, ANNs provide new approaches to deal with a great variety of applications, from financial analysis to data mining. Software-based ANNs offer the chance to fully exploit the fault tolerance and the parallel computing capability provided by these bio-inspired systems. Nevertheless, modern digital computers are not specifically designed to implement such features, making ANNs not really efficient. Recent improvements on CMOS technology allowed to design hardware-based ANNs able to outperform the software counterpart in terms of speed and power consumption, by distributing the input elaboration across simple elements instead of using a central processing unit. Notwithstanding, the memory accesses performed to retrieve the weight that each element has to assign at its input limit the actual speed and power saving achievable. Nowadays, many solutions to overcome these issues are under investigation but most of them are still in their infancy. Among the more promising alternatives, the non-volatile memories (NVMs) appear suitable for massively-parallel and energy-efficient neuromorphic computing systems. In particular, the NOR Flash arrays are highly reliable devices allowing to achieve very large scale designs without any size constraint, an intriguing feature to augment the number of synapses that the system is able to emulate. The aim of this thesis is to investigate the performance of a neuromorphic computing system based on NOR Flash arrays. The system considered is a digit classifier, i.e., an ANN aiming at distinguishing and recognizing hand-written digits. The NOR Flash array is employed inside the ANN as synaptic array, i.e., the component in charge of weighing the inputs which must be then elaborated by the artificial neurons. To investigate the NOR Flash array performance as synaptic array, first, a perfect analog tuning of its weights will be assumed to discuss its actual capabilities, then, by inserting NOR Flash cell instabilities due to noise contribution, the real performance of the array will be tested. Chapter 1 gives the fundamentals to understand the working principles of ANNs, starting from the modelling of the human brain building blocks: neurons and synapses. Then, the model of the ANN used to build the digit classifier with the relative training algorithm is presented. To understand why it is important to construct hardware-based ANNs, an insight on their possible implementation and advantages is proposed, focusing the attention on the NOR Flash technology. Chapter 2 presents the working principles of the NOR Flash cell, the floating-gate (FG) transistor, with close attention on its capability to emulate the synaptic behaviour and on the possible processes allowing a manipulation of its weight. After the description of the single cell, the whole NOR Flash array is discussed to exhibit its capability to compute the vector-by-matrix multiplication, fundamental to efficiently design a synaptic array. To conclude the chapter, two of the most relevant noise sources affecting modern NOR Flash technologies, program noise (PN) and random telegraph noise (RTN), are presented. Chapter 3 analyses the first implementation of the NOR Flash array as synaptic array in a digit classifier. After a brief discussion about the ANN parameters providing high recognition accuracy, the model of the hardware-based digit classifier employing NOR Flash array is presented. Starting from an insight about each component, two different designs for the implementation of the synaptic array with NOR Flash array are proposed. To overcome the issues given by the use of the solution which occupy less area, a new approach to the training process is proposed. By employing it, a satisfying recognition accuracy is achieved and further discussions are possible. Finally, Chapter 4 extends the network model by introducing PN and RTN impact on the performance of the NOR Flash array as synaptic array. First, a preliminary investigation on the separate contribution of these noise sources is given. Then, the models of PN and RTN are combined together to investigate the overall worsening of the NOR Flash synaptic array performance. By setting a minimal acceptable value for the recognition accuracy, an analysis of the noise contribution supported by the NOR Flash array is possible. The results achieved allow to discuss whether the implementation of a synaptic array inside an hardware-based ANN using a NOR Flash array is actually possible.

Le Reti Neurali Artificiali (RNA) sono spesso applicate con successo a problemi per i quali non esiste una semplice soluzione algoritmica, ma possono essere facilmente affrontati con qualche deduzione da una serie di esempi. Grazie ad una fase di apprendimento, una RNA è in grado di regolare i propri parametri interni per comportarsi in un certo modo quando vengono forniti ingressi con caratteristiche simili. Quindi, prendendo ispirazione dai concetti sfruttati dal cervello umano per elaborare informazioni, le RNA forniscono nuovi approcci per affrontare una grande varietà di applicazioni, dall'analisi finanziaria al data mining. Le RNA basate su software offrono la possibilità di sfruttare appieno la tolleranza ai guasti e la capacità di calcolo parallelo fornite da questi sistemi ispirati al funzionamento del cervello. Tuttavia, i moderni computer non sono specificamente progettati per implementare tali caratteristiche, rendendo le RNA non realmente efficienti. I recenti miglioramenti della tecnologia CMOS hanno permesso di progettare RNA basate su hardware in grado di superare la controparte software in termini di velocità e consumo energetico, distribuendo l'elaborazione degli ingressi su elementi semplici invece di utilizzare un'unità centrale di elaborazione. Nonostante ciò, gli accessi alla memoria eseguiti per recuperare il peso che ogni elemento deve assegnare al suo ingresso limitano la velocità effettiva e il risparmio energetico ottenibile. Al giorno d'oggi, molte soluzioni per superare questi problemi sono in fase di studio, ma la maggior parte di essi sono ancora agli albori. Tra le alternative più promettenti, le memorie non volatili (NVM) appaiono adatte per sistemi di calcolo neuromorfico altamente paralleli ed efficienti dal punto di vista energetico. In particolare, le matrici NOR Flash sono dispositivi altamente affidabili che permettono di realizzare progetti su larga scala senza alcun vincolo dimensionale, una caratteristica intrigante per aumentare il numero di sinapsi che il sistema è in grado di riprodurre. Lo scopo di questa tesi è quello di indagare le prestazioni di un sistema di calcolo neuromorfico basato sulla matrice NOR Flash. Il sistema considerato è un classificatore di cifre, cioè una RNA che ha lo scopo di distinguere e riconoscere le cifre scritte a mano. La matrice NOR Flash viene impiegata all'interno della RNA come matrice sinaptica, cioè il componente incaricato di pesare gli ingressi che devono essere poi elaborati dai neuroni artificiali. Per studiare le prestazioni della matrice NOR Flash come matrice sinaptica, in primo luogo, si suppone una perfetta programmazione analogica dei suoi pesi per discutere le sue reali capacità, poi, inserendo le instabilità delle celle NOR Flash dovute al contributo del rumore, si verificheranno le reali prestazioni della matrice. Il Capitolo 1 fornisce i fondamenti per comprendere i principi di funzionamento delle RNA, a partire dalla modellazione dei blocchi di costruzione del cervello umano: neuroni e sinapsi. Successivamente, viene presentato il modello di RNA utilizzato per costruire il classificatore di cifre con il relativo algoritmo di addestramento. Per capire perché è importante costruire RNA basate su hardware, si propone un approfondimento sulle loro possibili implementazioni e vantaggi, focalizzando l'attenzione sulla tecnologia NOR Flash. Il Capitolo 2 presenta i principi di funzionamento della cella NOR Flash, il transistor a Floating-Gate (FG), con particolare attenzione alla sua capacità di emulare il comportamento sinaptico e ai possibili processi che permettono una manipolazione del suo peso. Dopo la descrizione della singola cella, viene discussa l'intera matrice NOR Flash per mostrare la sua capacità di calcolare la moltiplicazione vettore-matrice, fondamentale per progettare efficacemente una matrice sinaptica. Per concludere il capitolo, vengono presentate due delle più rilevanti sorgenti di rumore che influenzano le moderne tecnologie NOR Flash, il program noise (PN) e il random telegraph noise (RTN). Il Capitolo 3 analizza la prima implementazione della matrice NOR Flash come matrice sinaptica in un classificatore di cifre. Dopo una breve discussione sui parametri della RNA che forniscono un'elevata precisione di riconoscimento, viene presentato il modello del classificatore di cifre basato su hardware che utilizza la matrice NOR Flash. Partendo da una panoramica di ogni componente, vengono proposti due diversi progetti per l'implementazione della matrice sinaptica con la matrice NOR Flash. Per superare i problemi derivanti dall'uso della soluzione che occupa meno spazio, viene proposto un nuovo approccio al processo di addestramento. Con il suo impiego, si ottiene una soddisfacente precisione di riconoscimento, rendendo possibili ulteriori discussioni. Infine, il Capitolo 4 estende il modello di rete introducendo l'impatto di PN e RTN sulle prestazioni della matrice NOR Flash come matrice sinaptica. In primo luogo, viene fornita un'indagine preliminare sul contributo separato di queste sorgenti di rumore. Successivamente, i modelli di PN e RTN sono combinati insieme per studiare il peggioramento complessivo delle prestazioni della matrice NOR Flash sinaptica. Impostando un valore minimo accettabile per l'accuratezza del riconoscimento, è possibile un'analisi del contributo del rumore supportato dalla matrice NOR Flash. I risultati ottenuti permettono di discutere l'effettiva possibilità dell'implementazione della matrice sinaptica all'interno di una RNA basata su hardware con l'uso di una matrice NOR Flash.