A transfer-learning enabled transformer for multivariate time-series classification

Time series classification is a very important and relevant task of data mining. The ability to classify time series data can have a huge impact on society. The world, in fact, is full of data that are actually time series, which can make these techniques useful for solving various real problems such as, for example, the analysis of an electrocardiographic signal to automatically detect cardiovascular disease or the detection of anomalies in industrial machines in order to prevent breakdowns. Unfortunately, in practice, it is not easy to have a large number of high quality time series at disposal as there is usually an economic cost behind collecting, storing and cleaning data and this could easily make the amount of available time series very small and difficult to find causing poor performance of the models used for classification. Transfer learning is an interesting and relevant research problem whose techniques can be used to solve the problem just described. These techniques aim to use prior knowledge learned from another dataset to apply it to a different but related problem. Thanks to these techniques it is possible to improve the performance of the models when the number of samples at disposal is too little since in this way the amount of information which can be used is much greater. The purpose of this thesis is therefore to present a model that can be exploited to perform transfer learning using multivariate time series, thus being able to classify them. The model, called TransformerTL, has been developed and tested in order to have accuracy performance comparable to the best state-of-the-art models if trained from scratch, in turn being able to improve the precision performance when the amount of time series available is quite low leveraging transfer learning.

La classificazione delle serie temporali è un task molto importante e rilevante nel campo del data mining. La capacità di classificare i dati delle serie temporali può avere un enorme impatto sulla società. Il mondo, infatti, è pieno di dati che in realtà sono serie temporali, il che può rendere queste tecniche utili per risolvere vari problemi reali come, ad esempio, l’analisi di un segnale elettrocardiografico per rilevare automaticamente malattie cardiovascolari o il rilevamento di anomalie nelle macchine industriali per poterne prevenire i guasti. Purtroppo, in pratica, non è facile avere a propria disposizione un gran numero di serie temporali di alta qualità poiché, di solito c’è un costo economico nella raccolta, archiviazione e pulizia dei dati e questo potrebbe facilmente rendere la quantità di dati disponibili molto piccola e difficile da trovare causando scarse prestazioni dei modelli usati per la classificazione. Il transfer learning è un problema di ricerca rilevante le cui tecniche possono essere utilizzate per risolvere il problema appena descritto. Queste tecniche mirano a utilizzare le conoscenze pregresse apprese da un altro set di dati per applicarle a un problema diverso ma correlato. Grazie a queste tecniche è possibile migliorare le prestazioni dei modelli quando il numero di campioni utilizzati per addestrarli è troppo basso, poiché, in questo modo, la quantità di informazione a nostra disposizione può essere molto maggiore. Lo scopo di questa tesi è quindi quello di presentare un modello per poter fare transfer learning utilizzando serie temporali multivariate allo scopo di classificarle. Il modello, denominato TransformerTL, è stato sviluppato e testato in modo da avere prestazioni d’accuratezza paragonabili ai migliori modelli d’avanguardia se addestrato senza fare transfer learning, potendo a sua volta anche migliorare le prestazioni in termini di accuratezza quando la quantità di serie temporali a disposizione è piuttosto bassa grazie al transfer learning