Adaptive-size online dictionary learning for nonstationary environments

Dictionary learning is a machine learning method for building a model that represents a signal using a limited number of atoms. This technique has found many applications in different fields, ranging from image reconstruction to classification, anomaly detection, and representation learning. However, a common assumption of these applications is the stationarity of signal, meaning the generative process behind them is assumed not to be drifting, evolving, or changing. In this thesis, we explore an extension to the online dictionary learning framework capable of a fast adaptation to incoming signals from an earlier distribution. Indicators based on the dictionary are collected for each signal during the learning phase, and used to determine whenever adapting the dictionary to new data is necessary. The adaptation is performed by adding new atoms that are directly learned on the most recent incoming signals. Our procedure also removes atoms that are not necessary for representing the incoming signals. We tested the algorithm on real and synthetic datasets. The results collected on highly-structured signals denote that our solution reaches lower reconstruction error and sparser representation than alternative solutions. On the other hand, in the presence of less-structured signals, such as patches coming from real-life images, our solution tends to adapt more frequently, resulting in an increment in the reconstruction error compared to other solutions.

Il Dictionary Learning è una tecnica di machine learning che punta a costruire un modello in grado di rappresentare un segnale usando un numero limitato di atomi. Questa tecnica viene utilizzata in diversi campi, spaziando dalla ricostruzione di immagini a problemi di classificazione, riconoscimento di anomalie e representation learning. Comunemente si presuppone che i segnali usati nell’apprendimento siano generati da un processo stazionario, ovvero un processo che si ipotizza che non evolva o cambi nel corso del tempo. In questa tesi, si esplora un’estensione all’Online Dictionary Learning framework in grado di permettere al dizionario di adattarsi più velocemente ad un cambiamento nel processo generativo dei segnali partendo dal dizionario appreso con il processo corrente. Per determinare se è necessario modificare la struttura del dizionario si utilizzano degli indicatori ottenuti dai segnali durante la fase di apprendimento. L’adattamento al nuovo processo avviene tramite l’inserimento di atomi appresi direttamente dai segnali più recenti. Inoltre, vengono rimossi gli atomi non necessari per rappresentare il nuovo processo. La soluzione proposta è stata testata sia su dataset sintetici e provenienti da immagini naturali. I risultati ottenuti con segnali altamente strutturati denotano che la nostra soluzione raggiunge errori di ricostruzione minori e rappresentazioni più sparsi rispetto a soluzioni alternative. D’altra parte, in presenza di segnali meno strutturati, come patches provenienti da immagini di uso quotidiano, la nostra soluzione tende ad adattare il dizionario più frequentemente, risultando in un incremento nell’errore di ricostruzione rispetto alle altre soluzioni.