Identification of salient iconography features in artwork analysis

Iconography studies the visual content of artworks by considering the themes portrayed in them and their representation. Computer Vision has been used to identify iconography subjects in paintings and Convolutional Neural Networks (CNN) enabled the effective classification of characters in Christian art paintings. However, it still has to be demonstrated if the classification results obtained by CNNs rely on the same iconographic properties that human experts exploit when studying iconography. A suitable approach for exposing the process of classification by neural models relies on Class Activation Maps, which emphasize the areas of an image contributing the most to the classification. This work compares state-of-the-art algorithms (CAM, Grad-CAM, Grad-CAM++, and Smooth Grad-CAM++) in terms of their capacity of identifying the iconographic attributes that determine the classification of characters in Christian art paintings. Quantitative and qualitative analyses show that Grad-CAM, Grad-CAM++, and Smooth Grad-CAM++ have similar performances while CAM has lower efficacy. Smooth Grad-CAM++ isolates multiple disconnected image regions that identify small iconography symbols well. Grad-CAM produces wider and more contiguous areas that cover large iconography symbols better. The illustrated analysis is a step towards the computer-aided study of the variations of iconography elements positioning and mutual relations in artworks and opens the way to the automatic creation of bounding boxes for training detectors of iconography symbols in Christian art images.

L'iconografia studia il contenuto visivo delle opere d'arte considerando i temi ritratti in esse e la loro rappresentazione. La visione artificiale è stata utilizzata per identificare i soggetti dell'iconografia nei dipinti e le reti neurali convoluzionali (CNN) hanno consentito l'effettiva classificazione dei personaggi nei dipinti d'arte cristiana. Tuttavia, deve ancora essere dimostrato se i risultati di classificazione ottenuti dalle CNN si basano sulle stesse proprietà iconografiche che gli esperti umani sfruttano quando studiano l'iconografia. Un approccio adeguato per esporre il processo di classificazione mediante modelli neurali si basa sulle Class Activation Map, che enfatizzano le aree di un'immagine che contribuiscono maggiormente alla classificazione. Questo lavoro confronta algoritmi allo stato dell'arte (CAM, Grad-CAM, Grad-CAM++ e Smooth Grad-CAM++) in termini di capacità di identificare gli attributi iconografici che determinano la classificazione dei personaggi nei dipinti d'arte cristiana. Le analisi quantitative e qualitative mostrano che Grad-CAM, Grad-CAM++ e Smooth Grad-CAM++ hanno prestazioni simili mentre CAM ha un'efficacia inferiore. Smooth Grad-CAM++ isola più regioni dell'immagine disconnesse che identificano bene i piccoli simboli iconografici. Grad-CAM produce aree più ampie e contigue che coprono meglio i grandi simboli iconografici. L'analisi illustrata è un passo verso lo studio assistito da computer delle variazioni del posizionamento degli elementi iconografici e delle relazioni reciproche nelle opere d'arte e apre la strada alla creazione automatica di bounding box per il training di detector di simboli iconografici nelle immagini dell'arte cristiana.