Concept dataset extraction for Concept Activation Vectors: a study on open-vocabulary grounding and segmentation

Convolutional Neural Networks (CNNs) are black-box models that benefit from explainability frameworks; to this end, concept-based explainabil- ity methods such as Testing with CAV (TCAV) or Visual-TCAV can be helpful. TCAV is, in fact, a framework that exploits Concept Activation Vectors (CAVs), which must be trained on a set of concept images, a process that is expensive. Only a few automatic pipelines exist for extracting concept images from textual prompts; this work presents a solution: extracting concept crops from real images using open-vocabulary detection and segmentation models. The main research question investigates whether it is possible to automatically obtain a dataset that correctly represents a concept, using a textual prompt and a starting set of im- ages as input. The proposed pipeline follows a modular architecture: an extractor, a cropper, and an augmenter. The extracted dataset has been evaluated along different axes: intrinsic quality, stability, and robustness of the CAVs, as well as the CAV similarity between the automatic and manual datasets at each layer. The proposed work presents a reproducible, documented pipeline as an alterna- tive to the synthetic generation pipeline for the concept-based explainability field; it is intended as a principled exploratory study, providing a baseline for future investigations. Findings show an overall quality comparable to the manual base- line, measured across intrinsic metrics, CAV stability, and cross-source similarity, but still strongly dependent on the domain. The code of the pipeline and the experiments can be found here: github.com/AlessandroCogollo/Concept-dataset- extraction-for-Concept-Activation-Vectors.

Le reti neurali convoluzionali (CNNs) sono modelli black-box che beneficiano dei framework di explainability; a questo scopo, metodi concept-based di explainability, tra cui Testing with CAV (TCAV), o Visual-TCAV, possono essere molto utili. TCAV è un framework che sfrutta i Concept Activation Vectors (CAVs), che devono essere allenati su un set di immagini di concetto. Solo poche pipeline esistono per estrarre automaticamente immagini da prompt testuali; in questo lavoro viene presentata una pipeline alternativa di estrazione: ritagliare porzioni di immagini reali, contenenti il concetto, usando modelli di detection e segmentation open-vocabulary. La principale domanda di ricerca investiga la possibilità di ottenere automaticamente un dataset che rappresenti correttamente il concetto, usando un prompt testuale e partendo da un set di immagini di input. La pipeline proposta è composta da moduli, tra cui: un estrattore, un cropper, ed un augmenter. Il dataset estratto è stato valutato sotto diversi aspetti: qualità intrinseca, stabilità tra diversi resamplings, e robustezza dei CAV, così come la similarità di CAV tra il dataset automatico e manuale, su ciascun layer. Questo lavoro presenta una riproducibile e documentata pipeline, alternativa alla generazione sintetica, da impiegare nel campo dell’explainability basata sui concetti; è da intendersi come uno studio esploratorio iniziale, che getti le basi per investigazioni future. I risultati mostrano una qualità complessiva comparabile alla baseline manuale, misurata in termini di metriche intrinseche, stabilità dei CAV, e similarità cross-source, ma con una forte dipendenza dal dominio di partenza.