Data set and deep learning methods for iconology analysis of artworks

Iconography in art related fields is of critical importance. The reason behind its study is the possibility to place an artwork in a certain time, location and cultural context in history, deepening with the representation of symbols its descriptive power further from a first simple layer of visualization. Moreover, the expansion of already existing collection and the generation of new data sets helped simplify the researches and increased the interest in such less investigated artistic field. In this thesis, a novel data set for the study of iconography in paintings from Christian art is presented. Such data set is composed of images of paintings gathered from several online sources, such as famous museums or art collections, and automatically annotated based on the downloaded metadata. Furthermore, the task of classification of iconographic classes in artworks images is investigated using Deep Learning techniques. In particular, a weakly-supervised learning method is considered, feeding the network with low-quality images and imprecise image-level annotations. A greater difficulty is also introduced by some classes that present very low discriminating features; thus, making their depiction very hard to be distinguished among others similar. A residual Convolutional Neural Network, ResNet-50, is exploited as a baseline model for the experiments, along with Class Activation Maps for a qualitative evaluation of the discriminating regions of classes. The model has been trained and tested with the collected images. Outcomes prove the overall hardness of the task and, simultaneously, reach satisfactory numerical results, with an above expectations peak result of 69% mean Average Precision. This, compared to other simpler tasks applied to artworks and paintings field, is considered as a more than sufficient result. Some real world applications, such as enhancement of Cultural Heritage tourism, in which this project may result useful are illustrated.

L’Iconografia in settori legati all’arte è di fondamentale importanza. Il motivo alla base del suo studio è la possibilità che ne deriva di collocare un’opera d’arte in un determinato periodo storico, luogo e/o contesto culturale; l’iconografia inoltre approfondisce, con la rappresentazione simbologica, il potere descrittivo dell’arte, che non si limita più ad una superficiale fruizione dell’opera. Peraltro, l’espansione di collezioni online già esistenti e la generazione di nuovi data set ha contribuito a semplificare le ricerche e ha aumentato l’interesse in un campo artistico meno indagato come è quello iconografico. In questa tesi, viene presentato un nuovo data set per lo studio dell’iconografia nei dipinti di arte Cristiana. Tale data set è composto da immagini di dipinti raccolti da fonti online differenti, quali musei famosi o collezioni d’arte; queste immagini sono automaticamente annotate ad image-level in base ai metadati ottenuti durante il download. Viene anche studiato il compito di classificare le classi iconografiche nelle opere d’arte mediante tecniche di Deep Learning. In particolare, viene considerato un metodo di learning con supervisione debole, fornendo alla rete neurale, tra le altre, immagini di bassa qualità e annotazioni imprecise non raffinate. Un’ulteriore difficoltà viene introdotta da alcune classi che presentano caratteristiche discriminatorie molto deboli; ciò rende la loro rappresentazione pittorica difficile da distinguere da altre classi molto simili. Una rete neurale convoluzionale residual, ResNet-50, viene utilizzata come baseline per gli esperimenti, insieme alle mappe di attivazione per una valutazione qualitativa delle regioni discriminanti delle classi. Il modello viene addestrato e testato con le immagini raccolte. Le performances dimostrano la difficoltà complessiva del task ma, allo stesso tempo, raggiungono risultati numerici soddisfacenti, con un risultato massimale, superiore alle aspettative, con 69% di mean Average Precision. Questo, rispetto ad altri task più semplici applicati al campo delle opere d’arte e dei dipinti, è considerato un risultato più che sufficiente. Sono infine illustrati alcuni possibili scenari nel mondo reale in cui questo progetto può trovare applicazione, come ad esempio la valorizzazione del turismo in ragione dell’interesse per i Beni Culturali.