Bridging instrumentation and data fusion in multimodal hyperspectral imaging for cultural heritage analysis

The scientific investigation of cultural heritage has undergone significant development in the last years, driven by the advancements of non-invasive technologies and sophisticated data analysis methodologies. Among these, hyperspectral imaging (HSI) has emerged as a powerful tool for the characterization of artworks and historical artefacts. By acquiring a complete spectrum at each spatial pixel, HSI enables the mapping of materials based on their optical response. Depending on the excitation and acquisition conditions, hyperspectral imaging can probe different physical phenomena, each sensitive to distinct chemical and structural properties of the materials. This approach is particularly useful when dealing with the study of objects and materials relevant in the cultural heritage field. Indeed, cultural heritage objects are intrinsically complex systems, composed of heterogeneous materials, mixed compounds and degradation products. The information provided by a single analytical modality is often insufficient to fully disentangle this sample’s complexity. The combination of complementary techniques is therefore essential to overcome the intrinsic limitation of individual analysis and to achieve a more comprehensive understanding of the investigated systems. The research presented in this thesis falls in this specific context by dealing with the implementation of innovative multimodal hyperspectral imaging platforms and dedicated multivariate data fusion strategies for the study of complex cultural heritage materials. The work aims to establish an integrated framework for the acquisition and interpretation of multimodal HSI datasets. A first major contribution of this thesis is the design and development of two hybrid multimodal HSI setups. Specifically, the realisation of hybrid systems is fundamental to guarantee the spatial co-registration between modalities, ensuring pixel-by-pixel correspondence and simplifying subsequent data analysis. The first is a Raman-Photoluminescence (PL) raster-scanning microscope developed for the chemical mapping of microsamples. By integrating multiple excitation paths and a shared collection path within a single optical setup, the system ensures intrinsic spatial co-registration between Raman and PL maps. This enables a compressive chemical-physical characterization of paint stratigraphies and pigment powders, combining the molecular specificity of Raman spectroscopy with the high sensitivity of photoluminescence to organic compounds and semiconductor pigments. The second setup is a multimodal and multiscale camera based on the TWINS (Translating-Wedge-Based Identical pulses eNcoded System) interferometric hyperspectral camera. The system allows sequential acquisition of reflectance and PL datasets by simply switching the illumination source while maintaining the camera fixed. This instrument can operate from large field-of-view configuration, suitable for the investigation of entire painted surfaces, to macro-scale imaging of small details. Beyond instrumental development, a central aspect of this work is the systematic investigation of multivariate analysis techniques applied to HSI datasets. Indeed, hyperspectral data are structured as a three-dimensional cube, where the first two dimensions correspond to the spatial coordinates, while the third dimension contains hundreds of contiguous spectral bands. The intrinsic high dimensionality of the data requires advanced statistical approaches to extract meaningful information. Linear spectral unmixing methods, including Principal Component Analysis, Simplex Volume Maximization and Non-Negative Matrix Factorization, were evaluated to understand the advantages and the limitations of each method depending on the specific case study. In parallel, non-linear manifold learning techniques such as t-SNE (t-distributed Stochastic Neighbors Embedding) and UMAP (Uniform Manifold Approximation and Projection) were investigated as exploratory tools for clustering and visualization of complex datasets. A central and innovative contribution of this work is the development and application of structured data fusion approaches, which are used to fully exploit the complementarity of multimodal datasets. In particular, in low-level fusion approaches co-registered hyperspectral cubes were spectrally merged in a single dataset. To ensure a balanced contribution of each modality, block-scaling procedures were applied, preventing dominance effects due to differences in intensity range, spectral shape and dimensionality. The effectiveness of the proposed fusion framework is demonstrated through representative case studies, including the recovery of hidden text in glued manuscript pages and the discrimination of degradation levels in polymer samples. A key outcome of this research is the development of MUSA (Multimodal fUsion framework for Spectral imaging Analysis), a napari-based software that integrates visualization, dimensionality reduction, clustering, spectral unmixing and multimodal data fusion within a unified and user-friendly interactive plugin. The software is specifically designed to handle multiple co-registered hyperspectral cubes simultaneously, facilitating reproducible multimodal analysis workflows. Overall, this thesis establishes a comprehensive methodological framework that combines hybrid multimodal instrumentation and advanced multivariate data fusion strategies for the non-invasive investigation of cultural heritage materials. By ensuring intrinsic spatial co-registration already at the data acquisition stage through the development of dedicated hybrid setups, and enabling efficient data integration during the analysis stage, the proposed approach significantly improves material discrimination and the assessment of complex heritage samples.

Negli ultimi anni, lo studio scientifico del patrimonio culturale ha registrato un notevole sviluppo, trainato dai progressi delle tecnologie non invasive e dalle sofisticate metodologie di analisi dei dati. Tra queste, l’imaging iperspettrale si è affermato come un potente strumento per la caratterizzazione di opere d’arte e reperti storici. Acquisendo uno spettro completo per ogni pixel, l’imaging consente di mappare i materiali in base alla loro risposta ottica. A seconda delle condizioni di eccitazione e acquisizione, può inoltre sondare diversi fenomeni fisici, ciascuno sensibile a proprietà chimiche e strutturali distinte dei materiali. Questo approccio è particolarmente utile quando si tratta dello studio di oggetti e materiali rilevanti nel campo del patrimonio culturale. Infatti, questi oggetti sono sistemi intrinsecamente complessi, composti da materiali eterogenei e prodotti di degradazione. Le informazioni fornite da una singola modalità analitica sono spesso insufficienti per districare completamente la complessità di questi campioni. La combinazione di tecniche complementari è quindi essenziale per superare i limiti intrinseci delle singole analisi e per ottenere una comprensione più completa dei sistemi studiati. La ricerca presentata in questa tesi si inserisce in questo specifico contesto, occupandosi dell’implementazione di setup di imaging multimodale innovativi e di strategie dedicate di fusione di dati multivariati per lo studio di materiali complessi del patrimonio culturale. Il lavoro mira a definire un quadro integrato per l’acquisizione e l’interpretazione di set di dati iperspettrali multimodali. Un primo importante contributo di questa tesi è la progettazione e lo sviluppo di due setup ibridi di imaging multimodale. Nello specifico, la realizzazione di sistemi ibridi è fondamentale per garantire la co-registrazione spaziale tra le modalità, assicurando la corrispondenza pixel per pixel e semplificando la successiva analisi dei dati. Il primo è un microscopio a scansione raster Raman-fotoluminescenza sviluppato per la mappatura chimica di microcampioni. Integrando più percorsi di eccitazione e un percorso di raccolta condiviso all'interno di un'unica configurazione ottica, il sistema garantisce una co-registrazione spaziale intrinseca tra le mappe Raman e fotoluminescenza. Ciò consente una caratterizzazione chimico-fisica completa delle stratigrafie, combinando la specificità molecolare della spettroscopia Raman con l'elevata sensibilità della fotoluminescenza ai composti organici e ai pigmenti semiconduttori. La seconda configurazione consiste in una camera multimodale e multiscalare basata sull’interferometro TWINS (Translating-Wedge-Based Identical pulses eNcoded System). Il sistema consente l'acquisizione sequenziale di serie di dati di riflettanza e fotoluminescenza semplicemente cambiando la sorgente di illuminazione, mantenendo fissa la camera. Questo strumento può operare da una configurazione con ampio campo visivo, adatta allo studio di intere superfici dipinte, fino all'imaging macro di piccoli dettagli. Al di là dello sviluppo strumentale, un aspetto centrale di questo lavoro è lo studio sistematico delle tecniche di analisi multivariata applicate ai set di dati iperspettrali. Infatti, questi dati sono strutturati come un cubo tridimensionale, dove le prime due dimensioni corrispondono alle coordinate spaziali, mentre la terza dimensione contiene centinaia di bande spettrali contigue. L'intrinseca alta dimensionalità dei dati richiede approcci statistici avanzati per estrarre informazioni significative. Sono stati valutati metodi lineari di unmixing spettrale, tra cui le tecniche di Principal Component Analysis, Simplex Volume Maximization e Non-Negative Matrix Factorization, per comprenderne i vantaggi e i limiti a seconda del caso di studio specifico. Parallelamente, sono state studiate tecniche non lineari di manifold learning come t-SNE (t-distributed Stochastic Neighbors Embedding) e UMAP (Uniform Manifold Approximation and Projection) come strumenti esplorativi per la visualizzazione e il clustering di dati complessi. Un contributo fondamentale e innovativo di questo lavoro è lo sviluppo e l’applicazione di approcci strutturati alla fusione dei dati, utilizzati per sfruttare appieno la complementarità dei set di dati multimodali. In particolare, nella fusione di basso livello, i cubi iperspettrali co-registrati sono stati uniti spettralmente in un unico set di dati. Per garantire un contributo equilibrato di ciascuna modalità, sono state applicate procedure di ridimensionamento a blocchi, evitando effetti di dominanza dovuti a differenze di intensità, di forma spettrale o di dimensionalità. L'efficacia di questo framework di fusione è dimostrata attraverso casi di studio rappresentativi, tra cui il recupero di testo nascosto in pagine di manoscritti e la discriminazione dei livelli di degrado in campioni polimerici. Un risultato chiave di questa ricerca è lo sviluppo di MUSA (Multimodal fUsion framework for Spectral imaging Analysis), un software basato su napari che integra visualizzazione, riduzione della dimensionalità, clustering, unmixing spettrale e fusione di dati multimodali all'interno di un plugin interattivo e di facile utilizzo. Il software è specificamente progettato per gestire simultaneamente più cubi iperspettrali co-registrati, facilitandone l'analisi. Nel complesso, questa tesi definisce un quadro metodologico completo che combina strumentazioni multimodali ibride e strategie avanzate di fusione multivariata dei dati per lo studio non invasivo dei materiali del patrimonio culturale. Garantendo la co-registrazione spaziale intrinseca già nella fase di acquisizione dei dati attraverso lo sviluppo di setup ibridi e consentendo un'efficiente integrazione dei dati durante la fase di analisi, l'approccio proposto migliora significativamente la discriminazione dei materiali e la valutazione di campioni complessi del patrimonio culturale.