Analysis of cultural heritage data for complex iconography studies

With the massive digitalization of artworks and the increasing availability of open access online sources, researchers can thoroughly investigate the history of art and the evolution of motifs and themes across space and time. However, most available resources do not offer high quality images and most data sets comprise low quality or scarce annotations, which increases the difficulty of the analysis tasks. This is especially true in the case of iconography analysis, the branch of the history of art that studies the subject matter or meaning of works of art; iconography has a fundamental role as a cultural marker and can be used to support the identification of the production period and provenance of an artwork. Classifying artwork by their iconography with computer-aided tools is a novel research objective and still presents non-trivial challenges besides the quality of data. For example, iconographic classes are numerous and structurally complex, and art images are visually more homogeneous than natural images, making the investigation of their content difficult. The research work of this thesis aims to explore novel Artificial Intelligence architectures to correctly identify and localize iconographic elements in artworks while dealing with challenges presented by noisy annotations and low quality data. For such purposes, a paintings dataset has been collected and annotated, methods to train Convolutional Neural Networks classifiers have been selected and evaluated, and a two-stage Weakly Supervised Object Detection architecture has been proposed. Results are promising and show the feasibility of the tasks in this emerging domain. Further analyses demonstrate that state-of-the-art architectures trained on natural images suffer from domain-specific characteristics such as large inter-class similarity, low intra-class diversity, and low-quality data. Ultimately, these results can aid experts in their research with advanced studies, provide novel augmented reality experiences to museums, or enrich online collections with metadata that otherwise would be too time-consuming to obtain.

Con la massiccia digitalizzazione delle opere d'arte e la crescente disponibilità di fonti online ad accesso libero, i ricercatori possono studiare a fondo la storia dell'arte e l'evoluzione di motivi e temi nello spazio e nel tempo. Tuttavia, la maggior parte delle risorse disponibili non offre immagini di alta qualità e la maggior parte dei set di dati comprende poche annotazioni o annotazioni di bassa qualità che comportano una difficoltà sostanziale rispetto alle immagini naturali. Questo è soprattutto il caso dell'iconografia: la branca della storia dell'arte che studia il soggetto o il significato delle opere d'arte; essa ha un ruolo fondamentale come marcatore culturale che può essere utilizzato per supportare l'identificazione del periodo di produzione e della provenienza di un'opera d'arte. La classificazione delle opere d'arte in base alla loro iconografia è stata poco studiata e presenta ancora sfide non banali, oltre alla scarsità di dati. Ad esempio, le classi iconografiche sono numerose e strutturalmente complesse e le immagini d'arte sono visivamente più omogenee di quelle naturali, rendendo difficile la loro discriminazione. Questa ricerca si propone di esplorare nuove architetture di intelligenza artificiale per identificare e localizzare correttamente gli elementi iconografici nelle opere d'arte, affrontando al contempo le sfide poste da annotazioni rumorose e dati di bassa qualità. A tal fine, è stato raccolto un dataset di dipinti, sono stati selezionati e valutati metodi per addestrare classificatori di reti neurali convoluzionali ed è stata proposta un'architettura di rilevamento degli oggetti debolmente supervisionata in due fasi. I risultati sono stati promettenti e hanno dimostrato la fattibilità della ricerca in questo nuovo dominio. Ulteriori analisi hanno dimostrato che le architetture più avanzate, addestrate su immagini naturali, soffrono le caratteristiche specifiche del dominio, come una grande somiglianza interclasse, una bassa diversità intraclasse e dati di bassa qualità. In definitiva, questi risultati possono aiutare gli esperti nelle loro ricerche con studi avanzati, fornire nuove esperienze di realtà aumentata ai musei o arricchire le collezioni online con metadati che altrimenti richiederebbero troppo tempo per essere ottenuti.