Hyperspectral imaging and deep learning for automatic food quality inspection

This master thesis focuses on the application of Deep Learning algorithms for performing Hyperspectral Image semantic segmentation, with a focus on food quality inspection and sorting. Hyperspectral Imaging is a powerful instrument, still the applicability of this camera is mostly limited to remote sensing applications. The principal objective of this master thesis is the pixel-level classification of different quality of eggplants using Hyperspectral Imaging systems coupled with Deep Learning algorithms. There are several available options for the semantic segmentation algorithm using Deep Learning that can be found in some of scientific databases. In this master thesis, four benchmark Deep Learning models have been adapted and trained on an in-house collected dataset. The HSI data coming from a push-broom type camera. This is the most diffused data acquisition method in industrial applications, as many of the system in industry rely on a conveyor belt to move the products. The research and development of novel methodologies for carrying out Deep Learning-based HSI segmentation is the final innovative contribution of the present work. Moreover, the work also provides techniques to analyze hyperspectral data from line scanners application. The results of this work show that Hyperspectral Imaging systems, coupled with Deep Learning, lead to very good performance for the semantic segmentation task for automatic food quality inspection. Results were validated through the k-Fold Cross-Validation methodology.

La seguente tesi magistrale si focalizza sull’applicazione di algoritmi di Deep Learning per ottenere una segmentazione semantica di immagini iperspettrali finalizzata all’ispezione e controllo della qualità del cibo. Le fotocamere iperspettrali sono uno strumento molto potente, tuttavia il loro utilizzo ad oggi è limitato per lo più ad applicazioni per rilevamenti a distanza. Il principale obiettivo di questo lavoro è una classificazione pixel per pixel della qualità di alcune sezioni di melanzane (fresco, cotto 10 minuti, cotto 20 minuti, bruciata, pelle) usando un dataset di dati ipespettrali ed analizzandolo con reti neurali. Allo stato dell’arte sono presenti molte reti neurali valide per la classificazione in esame, in questa tesi quattro modelli in particolare sono stati individuati, due riadattati da precedenti esperimenti, due creati ex novo ed allenati per classificare il dataset di questo lavoro. I dati iperspettrali sono raccolti secondo la tecnica “push-broom”, ovvero l’acquisizione di linee di pixel perpendicolari al movimento del nastro trasportatore sottostante. La ricerca e sviluppo di nuove metodologie per affrontare il problema di analisi di dati iperspettrali tramite reti neurali è il contributo che intende offrire questo lavoro. I risultati di questa tesi mostrano che accoppiando dati iperspettrali e Deep Learning si possono ottenere ottime classificazioni con performance tali da essere applicate anche ad un contesto industriale finalizzato al controllo qualità del cibo. I risultati sono stati validati tramite varie metodologie, fra cui la validazione incrociata K-Fold.