Analysis of deep learning loss functions for multi-label remote sensing image classification

This thesis analyzes and compares different Deep Learning Loss Functions in the framework of the Multi-Label Remote Sensing (RS) Image Scene Classification problems. Seven loss functions have been considered: 1) Cross-Entropy Loss; 2) Weighted Cross-Entropy loss; 3) Focal Loss; 4) Hamming Loss; 5) Huber Loss; 6) SparseMax Loss, and 7) Ranking Loss. The analysis aims to reveal their performance-wise differences and with greater significance, which loss functions are most suitable in specific contexts. All the considered loss functions are analyzed for the first time in RS and theoretically compared in terms of their: 1) capability to address class imbalanced data (for which the number of samples associated to each class significantly varies); 2) capability to consider outliers; 3) convexity and differentiability; and 4) required time to reach a high performance (i.e., the efficiency of learning). After the theoretical comparison, experimental analysis is carried out on the publicly available Sentinel-2 benchmark archive, BigEarthNet, to compare different loss functions by considering the constraints of the learning problem, the training methodologies and the expectations from deep learning models. Based on the analysis, some guidelines are derived for a proper selection of a loss function in the context of multi-label RS image classification. The findings have been submitted and accepted to the IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2020) as Conference Proceedings. Moreover, the work will result in another scientific publication which will be submitted to the IEEE Transactions on Geoscience and Remote Sensing. (TGRS)

Questa tesi analizza e confronta le diverse funzioni di costo per l'apprendimento profondo nel contesto della classificazione delle immagini telerilevate con annotazioni multiple. Sono state considerate sette funzioni di costo: 1) Funzione con entropia incrociata; 2) Funzione con entropia incrociata pesata; 3) Funzione di costo Focal; 4) Funzione di costo Hamming; 5) Funzione di costo Huber; 6) Funzione di costo SparseMax e 7) Funzione di costo con rango. L'analisi mira a rivelare differenze in termini di prestazioni e con speciale attenzione, quali funzioni di costo sono più appropriate in contesti specifici. Tutte le funzioni di costo considerate vengono analizzate per la prima volta nel campo del telerilevamento e confrontate teoricamente in termini di: 1) capacitá di apprendere da set di dati con classi squilibrate (per i quali il numero di campioni associati a ciascuna classe varia significativamente); 2) capacitá di considerare anomalie nei dati; 3) convessitá e differenziabilitá; e 4) tempo richiesto per raggiungere prestazioni elevate (i.e., l'efficienza di apprendimento). Successivamente alla comparazione teorica, l'analisi sperimentale viene effettuata sull'archivio Sentinel-2 pubblicamente disponibile, BigEarthNet, per confrontare le diverse funzioni di costo considerando possibili problemi di apprendimento, le metodologie di addestramento e le aspettative dei modelli di apprendimento profondo. Sulla base dell'analisi, vengono ricavate alcune linee guida per una corretta selezione di una funzione di costo nel contesto della classificazione delle immagini con annotazioni multiple. I risultati sono stati presentati e accettati all'IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2020) come atti della conferenza. Inoltre, il lavoro sfocerá in un'altra pubblicazione scientifica che sará presentata al IEEE Transactions on Geoscience and Remote Sensing. (TGRS)