Hyperspectral Image Analysis and Advanced Feature Engineering for Optimized Classification and Data Acquisition

Hyperspectral imaging is a technology that combines spectroscopy with imaging capacities to capture valuable diagnostic information for detecting objects and precisely distinguishing their constituent materials in a non-invasive manner. Although the technology has been known for almost five decades, due to the technological and computational limitations, its usage has been mostly exclusive to very limited applications of its domain of origin, Remote Sensing. However, within the last decade, the new advances have introduced new opportunities, which led to a significant rise in the popularity of this technology among the research community. The increased computational capacity, enhancement of the acquisition quality, and the decrease in the size of hyperspectral imaging sensors realize new applications for a vast range of new domains, i.e., healthcare, pharmaceuticals, food safety and its quality control, and manufacturing. Recent studies determine the great potentials of machine learning in making these applications to happen. Despite proven promising prospects, passing the technology to real use-cases is yet complicated by some open critical challenges that require further studies and adaptations. Due to the hyperspectral computational complexity, many studies propose deep learning as a powerful technique that allows skipping the complex feature introspection. Over the last decade, we have witnessed the domination of deep learning in image computations, typically in the supervised mode and in an end-to-end fashion. However, despite the several similarities of hyperspectral products with classic RGB images, its distinctive characteristics make such end-to-end deep learning techniques impractical for its real applications. Hyperspectral images are high-dimensional by nature, which essentially leads to the curse-of-dimensionality phenomenon and causes several inconsistencies and computational inefficiencies for end-to-end deep learning approaches. High dimensionality also intensifies the problem of ground-truth scarcity, which is a critical problem when it comes to supervised deep learning solutions. In addition, the common challenges with any Machine Learning solution and the concerns regarding the forthcoming issue of reaching the physical limitations of Moore's Law are even more significant in the case of hyperspectral image analysis. This thesis concentrates on these challenges and studies the classic machine learning pipeline and its required adaptations in tackling these challenges. We first highlight the impact of feature engineering within the machine learning pipeline on the performance and efficiency of supervised hyperspectral-based classification tasks. Accordingly, we propose reviving the classic 4-stage machine learning pipeline structure -which consists of feature engineering- by adapting it to the hyperspectral computation needs and empowering the idea with advanced strategies for automatic optimization. We then propose a strategy for breaking down the feature engineering into a sequence of inner distinct steps. Based on this strategy, we design and develop a framework that generates and holistically optimizes several models by involving any possible combination of the steps -even considering all feature engineering steps are skipped- to observe and determine the impact of feature engineering steps on efficiency and performance of a given hyperspectral predictive task. Specifically, it aims to perform an optimized model selection which allows us to perform a comparative evaluation over the different pipeline configurations and establish proper argumentative reasoning for this thesis's claim. Moreover, we elevate the idea of the framework into a prototype AutoML by considering several related techniques at different steps of the pipeline. In this case, the framework can also indicate which techniques are most suitable for the given prediction task and its input data. We define a holistic scheme for the framework to meet different optimization requirements, including data versioning, model selection, and hyperparameter tuning. These optimization procedures ensure the generalizability, reliability, robustness, and repeatability of the yielded model. We also present efficient implementations of the designed optimization scheme, which allows us to split the execution effort for optimized resource management and mitigate the risk of the system's failure. Moreover, we empirically investigate the possibility of automating feature engineering as a stand-alone procedure, independent of the forthcoming steps of the pipeline. More specifically, we investigate whether the feature engineering full-optimization can be conducted solely based on the input data, so its trained model can be used to enhance data for any form of classifier. We discuss how stand-alone feature engineering is beneficial to different aspects of the process, from the acquisition of data to the optimized data analysis. At last, we perform two experiments to evaluate the implemented framework. The experiments are chosen from two distinct families of hyperspectral-based applications to support the argument more strongly. The first experiment is a well-known problem with the most cited dataset in literature, which allows the reader to compare the results with the state-of-the-art. The second experiment is a part of an exploratory study -a joint project of Politecnico di Milano University with a couple of industries- which investigates the potentials of hyperspectral imaging technology in a new industrial context.

L'imaging iperspettrale è una tecnologia che combina la spettroscopia con le capacità di imaging per acquisire preziose informazioni diagnostiche per rilevare oggetti e distinguere con precisione i materiali che li compongono in modo non invasivo. Sebbene la tecnologia sia nota da quasi cinque decenni, a causa delle limitazioni tecnologiche e computazionali, il suo utilizzo è stato per lo più esclusivo di applicazioni molto limitate del suo dominio di origine, il telerilevamento. Tuttavia, nell'ultimo decennio, i nuovi progressi hanno introdotto nuove opportunità che hanno portato a un aumento significativo della popolarità di questa tecnologia tra la comunità dei ricercatori. L'aumento della capacità computazionale, il miglioramento della qualità di acquisizione e la riduzione delle dimensioni dei sensori di imaging iperspettrale consentono di realizzare nuove applicazioni per una vasta gamma di nuovi settori, quali la sanità, la farmaceutica, la sicurezza alimentare e il suo controllo di qualità e la produzione. Recenti studi hanno evidenziato le grandi potenzialità dell'apprendimento automatico per la realizzazione di queste applicazioni. Nonostante le prospettive promettenti, il passaggio della tecnologia a casi d'uso reali è ancora complicato da alcune sfide critiche aperte che richiedono ulteriori studi e adattamenti. A causa della complessità computazionale dell'iperspettro, molti studi propongono il deep learning come una tecnica potente che permette di saltare la complessa introspezione delle caratteristiche. Nell'ultimo decennio, abbiamo assistito al dominio del deep learning nei calcoli delle immagini, tipicamente in modalità supervisionata e in modo end-to-end. Tuttavia, nonostante le numerose somiglianze dei prodotti iperspettrali con le classiche immagini RGB, le sue caratteristiche distintive rendono queste tecniche di deep learning end-to-end poco pratiche per le applicazioni reali. Le immagini iperspettrali sono per natura altamente dimensionali, il che porta essenzialmente al fenomeno della maledizione della dimensionalità e causa diverse incongruenze e inefficienze computazionali per gli approcci di deep learning end-to-end. L'alta dimensionalità intensifica anche il problema della scarsità di verità a terra, che è un problema critico quando si tratta di soluzioni di deep learning supervisionate. Inoltre, le sfide comuni a qualsiasi soluzione di apprendimento automatico e le preoccupazioni relative all'imminente problema del raggiungimento dei limiti fisici della Legge di Moore sono ancora più significative nel caso dell'analisi delle immagini iperspettrali. Questa tesi si concentra su queste sfide e studia la classica pipeline di apprendimento automatico e i suoi adattamenti necessari per affrontarle. In primo luogo, sottolineiamo l'impatto dell'ingegneria delle caratteristiche all'interno della pipeline di apprendimento automatico sulle prestazioni e sull'efficienza dei compiti di classificazione supervisionati basati sull'iperspettro. Di conseguenza, proponiamo di rivitalizzare la classica struttura a 4 fasi della pipeline di apprendimento automatico - che consiste nell'ingegnerizzazione delle caratteristiche - adattandola alle esigenze di calcolo iperspettrale e potenziando l'idea con strategie avanzate di ottimizzazione automatica. Proponiamo quindi una strategia per scomporre l'ingegnerizzazione delle caratteristiche in una sequenza di fasi interne distinte. Sulla base di questa strategia, progettiamo e sviluppiamo un framework che genera e ottimizza olisticamente diversi modelli coinvolgendo ogni possibile combinazione di fasi - anche considerando che tutte le fasi di feature engineering vengono saltate - per osservare e determinare l'impatto delle fasi di feature engineering sull'efficienza e sulle prestazioni di un determinato compito predittivo iperspettrale. In particolare, l'obiettivo è quello di effettuare una selezione ottimizzata dei modelli che ci permetta di eseguire una valutazione comparativa tra le diverse configurazioni della pipeline e di stabilire un corretto ragionamento argomentativo per le affermazioni di questa tesi. Inoltre, sciluppiamo l'idea del framework in un prototipo di AutoML, considerando diverse tecniche correlate in diverse fasi della pipeline. In questo caso, il framework può anche indicare quali tecniche sono più adatte per un determinato compito di predizione e per i suoi dati di input. Definiamo uno schema generale per il framework per soddisfare diversi requisiti di ottimizzazione, tra cui il versioning dei dati, la selezione del modello e la regolazione degli iperparametri. Queste procedure di ottimizzazione garantiscono la generalizzabilità, l'affidabilità, la robustezza e la ripetibilità del modello ottenuto. Presentiamo anche implementazioni efficienti dello schema di ottimizzazione progettato, che ci permette di dividere lo sforzo di esecuzione per la gestione ottimizzata delle risorse e di mitigare il rischio di fallimento del sistema. Inoltre, studiamo empiricamente la possibilità di automatizzare l'ingegnerizzazione delle caratteristiche come procedura autonoma, indipendente dalle fasi successive della pipeline. Più precisamente, studiamo se l'ottimizzazione completa dell'ingegneria delle caratteristiche possa essere condotta esclusivamente sulla base dei dati di input, in modo che il modello addestrato possa essere utilizzato per migliorare i dati per qualsiasi tipo di classificatore. Discutiamo di come l’ingegneria delle caratteristiche autonome sia vantaggiosa per diversi aspetti del processo, dall'acquisizione dei dati all'analisi ottimizzata degli stessi. Infine, eseguiamo due esperimenti per valutare il framework implementato. Gli esperimenti sono stati scelti da due distinte famiglie di applicazioni basate sull'iperspettro per supportare maggiormente l'argomentazione. Il primo esperimento è un problema ben noto con il set di dati più citato in letteratura, che consente al lettore di confrontare i risultati con lo stato dell'arte. Il secondo esperimento fa parte di uno studio esplorativo - un progetto congiunto del Politecnico di Milano con un paio di industrie - che indaga le potenzialità della tecnologia di imaging iperspettrale in un nuovo contesto industriale.