Growing intelligent networks for streaming continual learning with temporal dependence

Learning from real-world data streams poses new challenges that call for a shift in the paradigm employed. Many of these issues are caused by the ever-evolving nature of data streams, which are characterized by concept drifts. These are changes in the distributions of their data points over time that prohibit models from collecting them to perform offline training. Thus, they need to adapt and learn continuously from them in a streaming fashion. Moreover, rapid adaptation to changes in the streams leads models to forget previously obtained knowledge and succumb to catastrophic forgetting. Finally, data coming from real-world streams may be characterized by temporal dependencies. These are relationships between values observed at different times in a sequence. This work positions itself at the intersection point of three research areas that tackle these challenges separately: Streaming Machine Learning (SML), Continual Learning (CL), and Time series analysis (TSA). We propose our novel solution GIN, which aims at solving all these issues simultaneously by adapting and combining the principles of weight masking, efficient progressive network expansion, and recurrent neural networks. Experimental results show that our approach is capable of defying forgetting by re-utilizing weights effectively while keeping the model compact and continuously learning from changing data streams with temporal dependencies.

L'apprendimento dai flussi di dati del mondo reale pone nuove sfide che richiedono un cambiamento nel paradigma impiegato tradizionalmente. Molti di questi problemi sono causati dalla natura in continua evoluzione dei flussi di dati, che sono caratterizzati da concept drift. Queste sono variazioni nelle distribuzioni dei loro dati nel tempo che impediscono ai modelli di raccoglierli per eseguire l'addestramento offline. Pertanto, essi devono adattarsi ed apprendere continuamente da questi punti in modalità streaming. Inoltre, l'adattamento rapido ai cambiamenti nei flussi porta i modelli a dimenticare le conoscenze precedentemente acquisite e a soccombere al catastrophic forgetting (dimenticanza catastrofica). Infine, i dati provenienti dai flussi del mondo reale possono essere caratterizzati da dipendenze temporali, ovvero relazioni tra valori osservati in momenti diversi in una sequenza. Questo lavoro si colloca nel punto di intersezione di tre aree di ricerca che affrontano queste sfide separatamente: Streaming Machine Learning (SML), Continual Learning (CL) e time series analysis (TSA). In questo lavoro, proponiamo la nostra nuova soluzione GIN, che mira a risolvere tutti questi problemi simultaneamente adattando e combinando i principi di mascheratura dei pesi, espansione progressiva efficiente della rete e delle Recurrent Neural Networks. I risultati sperimentali mostrano che il nostro approccio è in grado di contrastare la dimenticanza riutilizzando efficacemente i pesi, mantenendo il modello compatto e apprendendo continuamente da flussi di dati mutevoli con dipendenze temporali.