A brain-inspired approach to overcome catastrophic forgetting in Hebbian deep neural networks

Deep neural networks mimic the inner workings of the biological brain to solve various tasks. There is a strong connection and similarity between artificial neural networks (ANNs) and biological systems. However, ANNs have not yet fully replicated the human brain’s capacity for lifelong learning. In continual learning scenarios, ANNs suffer from catastrophic forgetting, a phenomenon where previously acquired information is overwritten when learning new tasks. This study aims to validate the importance of taking inspiration from the human brain to enable continual learning of image classification tasks in deep Hebbian neural networks. The developed neuromodulation-inspired technique applied to the kernels of the feature extractor and the multi-head classifier solution both show promising results, achieving performance improvements of up to 20% in certain experiments. Additionally, they demonstrate that the performance loss on later tasks can be offset by gains on earlier tasks, effectively mitigating catastrophic forgetting in incremental learning and promoting generalizability, learning stability, and plasticity.

Le reti neurali profonde imitano il funzionamento del cervello biologico per risolvere vari compiti. Esiste infatti una forte connessione e somiglianza tra le reti neurali artificiali (ANN) e i sistemi biologici. Tuttavia, le ANN non hanno ancora completamente replicato la capacità del cervello umano di apprendimento continuo. Negli scenari di apprendimento continuo, le ANN soffrono infatti di "catastrophic forgetting" (dimenticanza catastrofica), un fenomeno per cui le informazioni acquisite in precedenza vengono sovrascritte durante l'apprendimento di nuovi compiti. Questo studio ha l'obiettivo di validare l'importanza di trarre ispirazione dal cervello umano per abilitare l'apprendimento continuo di attività di classificazione di immagini in reti neurali profonde basate sull'apprendimento Hebbiano. La tecnica sviluppata, ispirata alla neuromodulazione biologica, applicata ai kernel dell'estrattore di caratteristiche e la soluzione basata su un classificatore multi-head mostrano entrambe risultati promettenti, ottenendo miglioramenti delle prestazioni fino al 20% in alcuni esperimenti. Inoltre, dimostrano che la perdita di prestazioni sui compiti appresi successivamente può essere compensata dai miglioramenti sui compiti precedenti, mitigando efficacemente il problema della dimenticanza catastrofica nell'apprendimento incrementale e promuovendo generalizzabilità, stabilità e plasticità dell'apprendimento.