Hardware design and implementation of memristive-based learning systems for efficient neurocomputing

Neuromorphic engineering aims to reproduce brain-like reasoning in a silicon chip. Computers able to learn by sensory excitement from the external world, to infer abstract concepts and to make decisions, are spurring a new technological revolution reshaping all aspects of our life and society. The development of artificial intelligent hardware systems must overcome the current architecture used for standard computers, which relies on physically separated processing unit and memory: data are continually sent to the processing unit from the memory, elaborated in the processor and then sent back again to the memory. Such repetitive transmission of information is the main difference with respect to the biological computation, where the knowledge is elaborated in the same place in which it is stored, hence “in-memory computing”. In order to introduce a significant improvement in the hardware design, the scientific research has recently focused on the memristive devices such as the phase change memory (PCM) and the resistive random-access memory (RRAM). The main advantage of memristor devices is related to the 3D stacking capability in the back end of the line, which zeroes the transfer of information and enables “in situ” computation. For this reason, as well as for the great area efficiency (size of only few square-nm), the memristive devices are the best candidates to foster the next technological era. This doctoral dissertation describes some novel approaches to improve the intelligent computation by both bio-inspired and artificial standpoints. Concerning the bio-inspired learning algorithms, the STDP (Spike-Timing-Dependent Plasticity) is one the most plausible paradigms accepted for the description of the learning activity in the human brain. For this reason, STDP is here verified by simulations and experimental measurements in extended networks with resistive random-access memory (RRAM) devices used as synapses. Great attention is also given to the prediction of the behaviour of the bio-inspired networks via accurate analytical models. Furthermore, the Verilog-A modelling of the memristive devices is also investigated in order to introduce a complete framework for the simulation of memristor-based circuits in computer-based drafting tools. On the other hand, the pure algorithmic approach to artificial intelligence has led to the definition of deep neural networks based on training algorithms, such as backpropagation, able to perform complex tasks. These techniques, which rely on a large number of arithmetical operations (matrix-vector multiplications, MVMs), demonstrated high reliability and efficiency in fully connected and convolutional neural networks for object recognition, natural language processing and playing games. However, despite of the significant efficiency in specific tasks, the artificial neural networks lack the sufficient plasticity for the adaptation to continually evolving situations. To both rely on the computational accuracy of convolutional networks and on the bio-inspired plasticity and resilience of STDP, this doctoral dissertation proposes a new kind of artificial neural network. The new architecture is capable of learning and classifying new input objects without catastrophically forgetting previously learnt information, thus achieving lifelong learning. The efficacy of the neural network is highlighted by PCM-based experimental demonstrations of continual learning for the MNIST and CIFAR10 datasets, with particular attention on the cohesion of stability and plasticity enabled by the multilevel programming of the PCM devices. In order to introduce a further computational novelty in terms of performances and resilience in the neuromorphic engineering, this doctoral dissertation also proposes a new PCM-based homeostatic neuron. At each fire event, an internal PCM device is partially crystallized, thus modulating the internal threshold of the neuron. This assures improved pattern specialization, significant reduction of power consumption, robustness against external perturbations and self-control of each neuronal activity as a function of the spiking rate. The homeostatic neuron is also shown to enable multi-pattern learning from Fashion-MNIST dataset via unsupervised asynchronous STDP. The PCM-based neuron is also useful in the framework of reinforcement learning, where the interaction with the surrounding environment contributes to the evolution of the network dynamics. In particular, concerning bio-inspired recurrent neural networks (RNNs), it is here demonstrated that the self-adaptation driven by PCM devices can control the internal states of the neurons in relation to the past experience of the network, thus enabling the fulfilment of complex decision making tasks. In order to validate the concept of reinforcement learning with memristive devices in large scale, an extended hardware system is also presented. In particular, the hardware is capable of reproducing bio-plausible cognitive functions with a SiOx RRAM-based architecture mastered by a digital system on chip (SoC). The computation of the system carries out significant results by merging Hebbian learning and homeostatic plasticity for improved efficiency and stability in bio-inspired RNNs. The hardware is tested for two main tasks: (i) the autonomous exploration of a continually evolving maze (i.e. a maze whose walls continually move in time); (ii) the Mars rover navigation, which concerns the exploration of Martian landscapes by using the NASA database of images. The hardware self-optimizes its policy starting from stochastic trials and plastically modifies its synaptic connections to reach the optimum escape path by progressive experience of penalties and rewards. Such studies introduce a novel approach to real-life problems and propose a significant boost of the technologies for improved computational capabilities. However, in order to compute the benefits of the memristor-based computation, an integrated design procedure in computer-based drafting tools must be also analysed. The integrated design of memristor-based neural networks, along with the definition of robust circuital architectures, promises significant breakthroughs in the future thanks to the enormous advantages in terms of compactness, efficiency, and speed. In particular, this doctoral dissertation also proposes the high-level analysis of an integrated fully connected artificial neural network designed using the software kit STMicroelectronics BCD 90 nm with embedded PCM cells. The memristor-based computation enables the use of only one-clock computation per single MVM, which is by far more advantageous with respect to the thousands of digital multiply and accumulate operations (MACs), each requiring at least one clock pulse, currently needed by standard Von Neumann computers. Furthermore, significant improvements in terms of hardware architecture are also proposed since the design is robust against device non-idealities such as the conductance drift of the PCM devices. This doctoral dissertation offers a wide range of analysis in various fields, ranging from pure device and network modelling to systems and integrated designs. It offers several insights over bio-inspired computation and neural networks using memristive devices, deepening theoretical and experimental solutions to improve the state-of-the-art of artificial intelligence. The novelties here introduced, as well as the description of the experimental setups, are key elements to introduce new paradigms in the standard elaboration procedures, thus highlighting the fundamental steps for boosting the next technological era of computation.

L’ingegneria neuromorfica si focalizza sulla riproduzione di capacità cognitive biologiche tramite algoritmi e tecniche artificiali. Calcolatori capaci di apprendere, cambiare e sviluppare in relazione agli stimoli dell’ambiente circostante rivoluzioneranno molti aspetti della società del futuro. Lo sviluppo di sistemi artificiali intelligenti deve però superare l’architettura usata per i calcolatori correnti, basati su una separazione tra processore e memoria che causa significative perdite di efficienza. I dati, infatti, vengono presi dalla memoria, elaborati nel processore e poi rimandati alla memoria stessa per essere catalogati. Questo ripetitivo meccanismo è profondamente diverso da ciò che si osserva in biologia, dove l’informazione viene elaborata nello stesso luogo in cui è memorizzata. Al fine di riprodurre questo tipo di computazione “in sito”, negli ultimi anni sono stati studiati alcuni dispositivi di memoria non volatile, come le memorie resistive (RRAM) e a cambiamento di fase (PCM). In particolare, tali memorie, note come “memristori”, possono essere costruite direttamente sopra il circuito integrato, annullando completamente il tempo di trasmissione richiesto da un tipo di computazione convenzionale. Questa dissertazione dottorale approfondisce le tecniche, gli algoritmi, l’ispirazione biologica di reti neurali artificiali per proporre nuovi sistemi capaci di superare le tecniche di computazione attuali. In primo luogo, si propone un modello analitico riguardo la capacità di apprendimento tramite modulazioni sinaptiche plastiche (STDP) utilizzando dispositivi memristori. Tale modello analitico è inoltre corredato da uno studio teorico dettagliato in linguaggio Verilog-A dei dispositivi RRAM, al fine di fornire un ambiente di lavoro completo non soltanto a livello discreto ma anche a livello integrato con il software Cadence Virtuoso. Tali studi hanno inoltre permesso l’analisi, lo sviluppo e la conseguente dimostrazione sperimentale di reti neurali nuove capaci di superare le limitazioni di quelle attuali. In particolare, questa dissertazione dottorale propone un sistema intelligente, costruito a partire dall’unione tra algoritmi artificiali e di ispirazione biologica, in grado di risolvere uno dei problemi storici dell’intelligenza artificiale: l’equilibrio fra stabilità e plasticità. La rete neurale qui proposta è in grado di essere resiliente nei confronti della nuova informazione proposta all’ingresso del sistema, modulando i dati già presenti e non incorrendo nella cosiddetta “dimenticanza catastrofica”, un problema presente nei sistemi intelligenti attuali che impedisce la modularità delle reti neurali profonde per compiti diversi fra loro. L’efficacia di questo nuovo sistema è dimostrata sperimentalmente utilizzando dispositivi di memoria non volatili PCM e testando poi l’elaborato con vari dataset di riferimento come l’MNIST, il Fashion-MNIST ed il CIFAR10. L’utilizzo di dispositivi PCM introduce inoltre un’ulteriore ottimizzazione del sistema, dal momento che permette la sintesi in hardware del concetto di omeostasi sinaptica. In particolare, traendo vantaggio dalla capacità di programmazione multilivello dei dispositivi stessi, è possibile fornire ad ogni neurone un controllo intrinseco ed auto-regolante con riferimento all’eccitabilità neuronale. Tale proprietà permette di regolare la soglia di sparo del neurone a seconda dell’informazione in arrivo in ingresso al sistema, così da fornire miglior specializzazione sinaptica e miglior consumo di potenza. Il neurone omeostatico, inoltre, ricopre un ruolo fondamentale anche per tecniche bio-ispirate per apprendimento a rinforzo. In particolare, questa dissertazione dottorale propone anche lo studio, l’analisi e sviluppo di reti neurali ricorrenti capaci di resilienza ed adattamento fisico come risposta agli stimoli provenienti dal mondo esterno. In particolare, si dimostra che la rete cambia a seconda delle esperienze passate e degli ingressi di segnale correnti basandosi esclusivamente sulla modulazione sinaptica dei dispositivi PCM. Tale operazione permette una rapida ed accurata capacità decisionale che rende il neurone omeostatico una tecnica fondamentale per lo sviluppo di reti neurali capaci di apprendimento continuo. L’apprendimento a rinforzo, tipico di tematiche come la navigazione autonoma, è quindi uno degli sbocchi più rilevanti in termini applicativi. Questa tesi dottorale offre anche una dettagliata descrizione di un sistema hardware con dispostivi RRAM ad ossido di silicio capace di dimostrare a larga scala l’effettività delle tecniche di apprendimento descritte. Il sistema è completamente auto sussistente e propone l’utilizzo di array di memoria controllati da un circuito integrato riprogrammabile. Il sistema è testato in due ambiti principali: la capacità di esplorazione di un ambiente dinamico nel tempo e la capacità di navigazione autonoma in ambiente ostile (test di navigazione di un rover su Marte tramite l’utilizzo delle immagini del dataset della NASA). Il sistema proposto è capace di modulare autonomamente la plasticità sinaptica tramite le risposte dell’ambiente in termini di penalità e ricompense, così da introdurre nei sistemi artificiali i concetti di resilienza ed autonomia direttamente a livello fisico. Nella parte finale di questa tesi dottorale si propone inoltre una discussione ad alto livello sulle problematiche e le soluzioni principali riguardanti la progettazione integrata di reti neurali. Si pone inoltre l’attenzione su alcune tecniche per rendere robusta la progettazione integrata dei sistemi con rispetto alle non idealità dei dispositivi. Questa lavoro di ricerca presenta quindi un ampio spettro di tematiche con soluzioni su vari problemi della ricerca scientifica riguardo l’intelligenza artificiale, ponendo così le basi per lo sviluppo di sistemi resilienti capaci di modulare e migliorare la tecnologia del futuro.