Forcing latent space Disentanglement for enhanced model Explainability

Despite the widespread use of deep neural networks, their intricate nature and extensive parameterization makes them essentially black boxes, posing challenges to interpretability. Recent deep learning trends aim at developing more interpretable models by working on the implicit intermediate representations formed during training. To this end, enabling a direct link between the data semantic factors of variation (FoVs) and the latent representation could be beneficial to interpretability. This is the case of disentanglement, a property of latent representations in which a change in one latent dimension corresponds to a change in one single FoV, while being relatively invariant to changes in others. In a disentangled representation, individual latent dimensions correspond to distinct and interpretable FoVs, allowing for a clearer control over the latent space, and accordingly over the output. Yet, achieving substantial disentanglement is a complex task, especially in unsupervised fashions where careful design choices and training strategies are required. With the increase of data complexity, models struggle to grasp the factors variability and to isolate them in dedicated latent dimensions. Past attempts at unsupervised learning of disentangled representations are mostly confined to biased toy datasets, missing real-world potential. For these reasons, when focusing on explainability of real-world datasets, unsupervised frameworks results being too weak, claiming the need of a driven supervision. In this work, we propose a supervised framework able to enhance the latent space attribute-level disentanglement of a model in real-world datasets. It requires a supervision made of paired images that share all but one FoV; in this way the image pairs differ in a single aspect, or FoV, whose difference is forced to be encoded in a dedicated dimension through a custom loss function. To evaluate the effectiveness of our method also on real-world datasets, our contribution includes also the generation of the required paired supervision, with a focus on facial images. To this end we introduce a novel Semantic Facial Attribute Editing method able to perform fine-grained facial edits to create our proposed dataset of image pairs differing in a single facial attribute. Experiments on both datasets reached convincing results in term of attributes disentanglement.

Nonostante la diffusione delle reti neurali, la loro natura intricata e l'ampia parametrizzazione le rende essenzialmente delle black boxes, ponendo problemi di interpretabilità. Le recenti tendenze del deep learning mirano a sviluppare modelli più interpretabili lavorando sulle rappresentazioni implicite formate durante l'addestramento. A tal fine, la possibilità di creare un collegamento diretto tra i fattori semantici di variazione dei dati (FdV) e le rappresentazioni latenti potrebbe essere vantaggiosa per l'interpretabilità. Questo è il caso del disentanglement, una proprietà delle rappresentazioni latenti in cui un cambiamento in una dimensione latente corrisponde ad un cambiamento in un singolo FdV, rimanendo relativamente invariante agli altri. In una rappresentazione disentangled, le singole dimensioni latenti corrispondono a FdV distinti e interpretabili, consentendo un controllo più chiaro dello spazio latente e quindi dell'output. Tuttavia, raggiungere un disentanglement significativo è un compito complesso, soprattutto nei modelli non supervisionati, dove sono necessarie strategie di addestramento accurate per districare efficacemente i FdV. Con l'aumento della complessità dei dati, i modelli faticano a cogliere e districare la variabilità dei FdV. I precedenti tentativi di apprendimento non supervisionato di rappresentazioni disentangled sono per lo più confinati a dataset giocattolo. Per questi motivi, quando ci si concentra sull'explainability di dataset reali è richiesta una supervisione guidata. In questa tesi, proponiamo un framework supervisionato in grado di migliorare il disentanglement a livello di attributi dello spazio latente. Esso richiede una supervisione costituita da coppie di immagini che condividono tutti i FdV tranne uno; in questo modo le coppie di immagini differiscono in un singolo aspetto, o FdV, la cui differenza è forzata ad essere codificata in una dimensione dedicata attraverso una loss personalizzata. Per valutare l'efficacia del nostro metodo anche su dataset reali, proponiamo anche un nuovo metodo di Modifica Semantica di Attributi Facciali in grado di eseguire modifiche facciali specifiche, per creare un dataset di coppie di immagini che differiscono per un singolo attributo facciale, trattati come FdV dei dati. Gli esperimenti condotti su entrambi i dataset hanno raggiunto risultati convincenti in termini di disentanglement degli attributi.