Classification, Object Detection, and Instance Segmentation have become key fields in the computer vision research context. Their aim is to recognize the presence, or presence and location, of a specific class within an image in an automatic way using neural models. Over the years, however, the architectures of these models have become progressively complex due to the constant need to increase their performance. This has made their evaluation more and more arduous, leading to evaluate them as "black-boxes" using standard evaluation metrics necessary to perform fair analysis on models and understand their behavior to be able to optimize it for a given dataset or task. In this way, several papers describe the development of frameworks aimed at enhancing the diagnosis of deep neural models over the standard evaluation metrics, implementing tools with graphical interfaces that support the user during all analyzes by presenting the results cleanly and legibly. The interfaces that these tools present are often sparse and do not allow the user to vary the types of analysis, nor do they offer sets of metrics to fully understand the behavior of the model. ODIN Framework aims at generalizing and integrating into a unique solution the main approaches to error diagnosis extending the standard evaluation metrics with custom properties and metrics, a wide range of off-the-shelf metrics, and analysis reports. Being ODIN a tool with great potential but with the limit of being python based and therefore accessible only to users capable of programming, we felt the need to compensate for this weakness by extending it with a dashboard that can quickly display the most common reports without any programming effort, still allowing the more experienced to refine the analysis as they want. The purpose of the presented work is to introduce ODIN Web, a web-based application capable of compensating for the lack of a complete tool, with an intuitive interface, easy to install, and which supports users in analyzing the results of their models without any programming effort. Finally, to demonstrate the utility and effectiveness of the tool, two types of use cases, applied to the ArtDL and PASCAL VOC 2007 datasets, are illustrated.

Classificazione, rilevamento di oggetti e segmentazione delle istanze sono diventati campi importanti nell'area di ricerca sulla visione artificiale. Il loro scopo è riconoscere la presenza, o la presenza e la posizione, di una classe specifica all'interno di un'immagine in modo automatico utilizzando modelli neurali. Nel corso degli anni, però, le architetture di questi modelli sono diventate progressivamente complesse a causa della costante necessità di aumentarne le prestazioni. Ciò ha reso la loro valutazione sempre più ardua, portando a valutarli come "scatole nere" utilizzando metriche di valutazione standard necessarie per eseguire un'analisi equa sui modelli e comprenderne il comportamento per poterlo ottimizzare per un determinato set di dati o attività. In questo modo, diversi articoli descrivono lo sviluppo di framework volti a migliorare la diagnosi di modelli neurali profondi rispetto alle metriche di valutazione standard, implementando strumenti con interfacce grafiche che supportano l'utente durante tutte le analisi presentando i risultati in modo pulito e leggibile. Le interfacce che questi strumenti presentano sono spesso scarse e non consentono all'utente di variare i tipi di analisi, né offrono set di metriche per comprendere appieno il comportamento del modello. ODIN Framework mira a generalizzare e integrare in un'unica soluzione i principali approcci alla diagnosi degli errori estendendo le metriche di valutazione standard con proprietà e metriche personalizzate, un'ampia gamma di metriche e report di analisi. Essendo ODIN uno strumento dalle grandi potenzialità ma con il limite di essere python based e quindi accessibile solo agli utenti capaci di programmare, abbiamo sentito la necessità di sopperire a questa debolezza estendendolo con una dashboard in grado di visualizzare velocemente i report più comuni senza alcun sforzo di programmazione, consentendo comunque ai più esperti di affinare l'analisi a loro piacimento. Lo scopo di questo lavoro è quello di presentare ODIN Web, un'applicazione web-based in grado di sopperire alla mancanza di uno strumento completo, con un'interfaccia intuitiva, facile da installare, e che supporti gli utenti nell'analisi dei risultati dei propri modelli senza alcun sforzo di programmazione. Infine, per dimostrare l'utilità e l'efficacia dello strumento, vengono illustrate due tipologie di casi d'uso, applicati ai dataset ArtDL e PASCAL VOC 2007.

ODIN Web : an interactive dashboard for black-box deep learning error diagnosis

Mastropasqua, Alessandro
2020/2021

Abstract

Classification, Object Detection, and Instance Segmentation have become key fields in the computer vision research context. Their aim is to recognize the presence, or presence and location, of a specific class within an image in an automatic way using neural models. Over the years, however, the architectures of these models have become progressively complex due to the constant need to increase their performance. This has made their evaluation more and more arduous, leading to evaluate them as "black-boxes" using standard evaluation metrics necessary to perform fair analysis on models and understand their behavior to be able to optimize it for a given dataset or task. In this way, several papers describe the development of frameworks aimed at enhancing the diagnosis of deep neural models over the standard evaluation metrics, implementing tools with graphical interfaces that support the user during all analyzes by presenting the results cleanly and legibly. The interfaces that these tools present are often sparse and do not allow the user to vary the types of analysis, nor do they offer sets of metrics to fully understand the behavior of the model. ODIN Framework aims at generalizing and integrating into a unique solution the main approaches to error diagnosis extending the standard evaluation metrics with custom properties and metrics, a wide range of off-the-shelf metrics, and analysis reports. Being ODIN a tool with great potential but with the limit of being python based and therefore accessible only to users capable of programming, we felt the need to compensate for this weakness by extending it with a dashboard that can quickly display the most common reports without any programming effort, still allowing the more experienced to refine the analysis as they want. The purpose of the presented work is to introduce ODIN Web, a web-based application capable of compensating for the lack of a complete tool, with an intuitive interface, easy to install, and which supports users in analyzing the results of their models without any programming effort. Finally, to demonstrate the utility and effectiveness of the tool, two types of use cases, applied to the ArtDL and PASCAL VOC 2007 datasets, are illustrated.
MILANI, FEDERICO
TORRES, ROCIO NAHIME
ZANGRANDO, NICCOLÒ
ING - Scuola di Ingegneria Industriale e dell'Informazione
28-apr-2022
2020/2021
Classificazione, rilevamento di oggetti e segmentazione delle istanze sono diventati campi importanti nell'area di ricerca sulla visione artificiale. Il loro scopo è riconoscere la presenza, o la presenza e la posizione, di una classe specifica all'interno di un'immagine in modo automatico utilizzando modelli neurali. Nel corso degli anni, però, le architetture di questi modelli sono diventate progressivamente complesse a causa della costante necessità di aumentarne le prestazioni. Ciò ha reso la loro valutazione sempre più ardua, portando a valutarli come "scatole nere" utilizzando metriche di valutazione standard necessarie per eseguire un'analisi equa sui modelli e comprenderne il comportamento per poterlo ottimizzare per un determinato set di dati o attività. In questo modo, diversi articoli descrivono lo sviluppo di framework volti a migliorare la diagnosi di modelli neurali profondi rispetto alle metriche di valutazione standard, implementando strumenti con interfacce grafiche che supportano l'utente durante tutte le analisi presentando i risultati in modo pulito e leggibile. Le interfacce che questi strumenti presentano sono spesso scarse e non consentono all'utente di variare i tipi di analisi, né offrono set di metriche per comprendere appieno il comportamento del modello. ODIN Framework mira a generalizzare e integrare in un'unica soluzione i principali approcci alla diagnosi degli errori estendendo le metriche di valutazione standard con proprietà e metriche personalizzate, un'ampia gamma di metriche e report di analisi. Essendo ODIN uno strumento dalle grandi potenzialità ma con il limite di essere python based e quindi accessibile solo agli utenti capaci di programmare, abbiamo sentito la necessità di sopperire a questa debolezza estendendolo con una dashboard in grado di visualizzare velocemente i report più comuni senza alcun sforzo di programmazione, consentendo comunque ai più esperti di affinare l'analisi a loro piacimento. Lo scopo di questo lavoro è quello di presentare ODIN Web, un'applicazione web-based in grado di sopperire alla mancanza di uno strumento completo, con un'interfaccia intuitiva, facile da installare, e che supporti gli utenti nell'analisi dei risultati dei propri modelli senza alcun sforzo di programmazione. Infine, per dimostrare l'utilità e l'efficacia dello strumento, vengono illustrate due tipologie di casi d'uso, applicati ai dataset ArtDL e PASCAL VOC 2007.
File allegati
File Dimensione Formato  
2022_04_Mastropasqua_01.pdf

accessibile in internet per tutti

Descrizione: Thesis
Dimensione 6.08 MB
Formato Adobe PDF
6.08 MB Adobe PDF Visualizza/Apri
2022_04_Mastropasqua_02.pdf

accessibile in internet per tutti

Descrizione: Executive Summary
Dimensione 680.6 kB
Formato Adobe PDF
680.6 kB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/188236