A metric evaluation framework for object detection

Object detection is one of the major tasks that has been researched in depth in the last decades in Computer Vision. The breakthrough into the field arrived after the introduction of Deep Convolutional Neural Network (DCNN) into detectors pipelines, and its performance improvement has gone on the upswing since then. Nowadays, various real-life applications are applying object recognition algorithms from self-driving cars to even healthcare delicate procedures. It is noticeable that these Deep Learning algorithms are highly sensitive to failure because of the natural hazardous tasks that they perform. In this work we propose a framework library for the evaluation of Object Detection denominated Detector Metrics Evaluator (DME). DME allows to evaluate object detection results through typical and other more specific metrics. Such analysis would allow researchers an in-depth assessment of their object detector pipelines so as to increase their accuracy and precision at maximum. The implementation of DME takes as inputs a Ground Truth dataset (in PASCAL VOC or COCO format) and the set of the detector predicted proposals. Moreover, the DME python implementation applied a generic design to let open the option to developers to make the tool to scale; by adding new metrics or implementing another dataset format. We have tested our tool with Pascal VOC 2007 and iSAID datasets along with Detectron2 and MMDetection training frameworks, showing its decouple nature to the specific dataset or framework for the detector implementation with good results.

Il rilevamento di oggetti è uno dei maggiori compiti di visione artificiale su cui è stata fatta una approfondita ricerca negli ultimi decenni. La svolta, in questo campo, è arrivata dopo l’introduzione di reti neurali convolutive profonde (DCNN) nel flusso di lavoro dei riconoscitori, e le loro prestazioni sono in continuo miglioramento da allora. Al giorno d’oggi, gli algoritmi per il riconoscimento di oggetti sono applicati a svariate applicazioni della vita reali, dalle auto con guida autonoma a rischiose procedure mediche. È evidente che questi algoritmi di apprendimento profondo sono molto sensibili al fallimento visti i compiti rischiosi che svolgono. In questo lavoro proponiamo una libreria per la valutazione del riconoscimento di oggetti chiamata Detector Metrics Evaluator (DME). DME permette di valutare i risultati di questi algoritmi attraverso alcune metriche tipiche e altre più specifiche. Tale analisi potrà aiutare i ricercatori ad ottenere una valutazione profonda del flusso di lavoro del loro riconoscitore, così da incrementare al massimo accuratezza e precisione. L’implementazione di DME prende in ingresso un set di dati di Ground Truth (nel formato Pascal VOC o COCO) e il gruppo di proposte predette dal riconoscitore. Inoltre, durante l'implementazione in Python di DME abbiamo applicato un design generico per lasciare aperta la possibilità agli sviluppatori di adattare lo strumento; aggiungendo nuove metriche o includendo un altro formato per i set di dati. Abbiamo provato il nostro strumento con i dati provenienti da Pascal VOC 2007 e iSAID insieme ai framework di apprendimento Detectron2 e MMDetection, mostrando, con buoni risultati, la sua natura disaccoppiata da uno specifico set di dati o strumento di sviluppo del riconoscitore.