Learning recurrent neural networks in presence of concept drift : active and passive approaches

Designing adaptive machine learning systems able to operate in non-stationary environments and conditions, also known as Concept Drift, is a novel and emerging research area. Recurrent Neural Networks (RNNs) have not been considered a viable solution for such adaptive systems due to high computational load and such heavy data they require for training. This research introduces a thorough comparison of adaptive mechanism for learning RNNs able to operate in presence of concept drift. Such an adaptive mechanism in this research shows the comparative study between active approach, passive approach and no-update model. In "active approach", where adaptation is triggered by the detection of concept drift , and relies on the "transfer learning" paradigm to transfer (part of the) knowledge from the RNNs operating before the concept drift to the one operating after. In "passive approach", irrespective of the drift occur or not, this approach continuously update the model as soon as new data arrives. The effectiveness of the proposed solution has been evaluated on three types of RNNs, such as Long short term memory (LSTM), Gated recurrent units (GRU) and Echo state networks (ESN) and two types of data i.e. synthetic and real-world benchmarks.

La progettazione di sistemi di apprendimento automatico adattivi in ​​grado di operare in ambienti e condizioni non stazionari, noto anche come Concept Drift, è un'area di ricerca nuova ed emergente. Le Recurrent Neural Networks (RNN) non sono state considerate una soluzione praticabile per tali sistemi adattativi a causa dell'elevato carico computazionale e dei dati così pesanti necessari per l'addestramento. Questa ricerca introduce un confronto approfondito del meccanismo adattivo per l'apprendimento di RNN in grado di operare in presenza di deriva del concetto. Tale meccanismo adattativo in questa ricerca mostra lo studio comparativo tra approccio attivo, approccio passivo e modello senza aggiornamento. Nell'approccio "attivo", in cui l'adattamento è innescato dal rilevamento della deriva dei concetti e si basa sul paradigma del "trasferimento di apprendimento" per trasferire (parte della) conoscenza dalle RNN che operano prima che il concetto vada a quello che segue. In "approccio passivo", indipendentemente dalla deriva o meno, questo approccio aggiorna continuamente il modello non appena arrivano nuovi dati. L'efficacia della soluzione proposta è stata valutata su tre tipi di RNN, Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU) e Echo state networks (ESN) e due tipi di dati, ovvero benchmark sintetici e reali.