Modeling and design of neuromorphic circuits based on resistive switching devices

Brain-inspired computing is gaining momentum as a viable technology for artificial intelligence enabling recognition, language processing and online unsupervised learning. Brain-inspired circuit design is currently hindered by two fundamental limits: understanding the event-driven spike processing in the human brain and developing predictive models to design and optimize cognitive circuits. Firstly a comprehensive analytical model for spiking neural networks (besides a Monte Carlo one) is presented relying on Spike-Timing-Dependent Plasticity (STDP) in resistive switching memory (RRAM) synapses. The model can predict the learning efficiency and time behaviour as a function of the input noise and pattern size, thus paving the way for model-based design of brain-like circuits. This approach leads to the deepening of the mechanisms that rule the bio-inspired treatment of information, thus resulting an essential brick towards a complete theory of neuromorphic alternative computing. In particular, the accuracy in predicting the time evolution of STDP networks till the final synaptic values gets relevant in practical demonstrations like inhibitory synapses (for visual pattern differentiation) and learning/classification tests like MNIST. Furthermore, there are evidences demonstrating the dependence of synaptic plasticity on frequency occurrences of events rather than on time based ones. This leads to the presentation of a new kind of synapse that follows a Spike-Rate-Dependent Plasticity protocol (SRDP): from this a new bio-inspired network is built and designed through a further analytical model. Although the nature of STDP and SRDP networks is different from one to the other (in matter of synchronism, for instance) the learning activity always happens through the RRAM synapse, thus resulting in a common base structure between the different biological inspirations. This paves the way for the definition of a universal model describing how human learning activity (and so even the bio-inspired one) occurs, thus introducing a new chapter in neuromorphic alternative computing.

La computazione neuromorfica sta progressivamente assumendo un ruolo preponderante nella definizione di un'intelligenza artificiale capace di imparare e riconoscere stimoli di varia natura in modo non supervisionato. Due sono i limiti attuali per una computazione di questo tipo: una corretta interpretazione della biologia del cervello umano e la capacità di sviluppare modelli capaci di disegnare ed ottimizzare circuiti cognitivi. Da qui si rende necessaria la stesura di un modello analitico di rete neurale (oltre ad uno Monte Carlo) capace di descrivere circuiti a plasticità temporale basati su sinapsi a switching resistivo (RRAM). Il modello suddetto predice compiutamente l'efficienza di apprendimento e lo sviluppo temporale della rete in funzione dei parametri di pattern e rumore in ingresso al sistema, gettando così le basi per un design neuromorfico completo. Le proprietà suddette, che portano il modello a predire anche i valori finali delle sinapsi in termini di resistenza, risultano molto significative per dimostrazioni pratiche come la differenziazione di pattern in ingresso tramite sinapsi inibitorie e l'ottimizzazione di test di apprendimento come l'MNIST. Oltre a quanto detto sinora, vi sono prove biologiche che dimostrano la dipendenza dell'apprendimento non solamente dalla tempistica degli avvenimenti in input, ma anche dalla frequenza con cui questi accadono. Da qui l'introduzione del protocollo di plasticità sinaptica dipendente dalla frequenza degli eventi in ingresso al sistema (SRDP): la rete neuromorifca che ne deriva è, anche in questo caso, oppurtanemente descritta da un modello analitico. Nonostante la natura dei protocolli biologici STDP ed SRDP sia diversa e caratterizzata da fattori singolari fra loro, il processo di apprendimento avviene sempre e comunque attraverso la sinapsi (cioè il dispostivo RRAM) e la conseguente modulazione del suo peso resistivo. Da qui nasce l'idea di un modello universale capace di descrivere elettronicamente l'attività di apprendimento nel cervello umano (reale ed artificiale) gettando le basi per un nuovo capitolo riguardante la computazione alternativa di matrice neuromorfica.