A methodology for context-independent image classification in an emergency context

In this work, we propose a new methodology for context-independent image classification in emergency contexts. This means that it can work independent of the ge-olocation of a disaster. This works has been developed for the E2mC European project, which aims to implement an emergency management platform that leverages social me-dia and crowdsourcing for satellite mapping purposes. In this context, images play a key role, as they show the consequences of an emergency, helping to assess damage. A fundamental challenge is to provide the professionals images that are useful for the mapping. In fact, most of the social content is not helpful for mapping purposes and it may create an information overload that makes professionals waste their time, given the large amounts of information available. Automatically selecting useful images for mapping purposes raises a number of technical issues. Among them, the main one is not to reach high precision levels (i.e. do not provide professionals with useless content), and high recall levels (i.e. do not provide important information). Consequently, we have worked on a brand-new methodology to overcome these problems, combining mul-tiple state of the art algorithms and technologies. This methodology has been tested on earthquakes and floods. These events provide very complex images, which can be different if the location of the disaster changes. Hence, the context-independence of the methodology becomes crucial. For example, the methodology should be able to classify an earthquake in Italy with stone houses and an earthquake in Nepal with wooden hous-es without losing performance. In our methodology, we stacked a K-nearest neighbour classifier, which searches similar images, on top of a Neural Network classifier. This helps us improving the number of useful images classified, allowing us to reach high lev-els of recall. Moreover, the work also shows that creating a more complex methodology with different classifiers leads to better results than using only Neural Networks also in terms of precision. On the other hand, the crowd has an important part in the project, because it evaluates the result and responds in real-time. The methodology must consider this key element and help its work. We have worked both on a classifier to provide useful images and a ranker. This last element gives a score to each image, so it can speed up the analy-sis and the sorting of the information by the crowd. When the images of interest have been classified and ranked, they can be used for mapping to provide a big improvement in analysing damaged areas.

In questa tesi, proponiamo una nuova metodologia context-independent per la classificazione delle immagini in situazioni di emergenza. Ciò significa che il sistema può funzionare indipendentemente dalla geolocalizzazione di un disastro. Questo lavoro è stato sviluppato per il progetto europeo E2mC, che intende implementare una piattafor-ma di gestione delle emergenze che sfrutta i Social Media e il crowdsourcing per scopi di mappatura satellitare. In questo contesto, le immagini svolgono un ruolo chiave, in quanto mostrano le conseguenze di un'emergenza, aiutando a valutare i danni. Una sfida fondamentale è quella di fornire ai professionisti immagini utili per la mappatura. Infatti, la maggior parte dei contenuti Social non è utile per scopi di mappa-tura e può creare un sovraccarico di informazioni che fa sprecare tempo ai professionisti, data la grande quantità di informazioni disponibili. La selezione automatica di immagini utili per la mappatura crea una serie di problemi tecnici. Tra questi, il principale è quello di non raggiungere livelli di precisione elevati (cioè non fornire ai professionisti contenu-ti inutili), con bassi livelli di recall (cioè non restituire informazioni importanti). Di con-seguenza, abbiamo lavorato a una nuova metodologia per superare questo problema, combinando algoritmi e tecnologie allo stato dell’arte. Questa metodologia è stata testa-ta sui terremoti e sulle inondazioni. Questi eventi forniscono immagini molto complesse, che possono essere diverse se la località del disastro cambia. Quindi, l'indipendenza dal contesto della metodologia diventa cruciale. Ad esempio, la metodologia dovrebbe esse-re in grado di classificare un terremoto in Italia con case in pietra e un terremoto in Ne-pal con case in legno senza perdere prestazioni. Nella nostra metodologia abbiamo posto un classificatore K-nearest neighbors, che ricerca immagini simili, in cima ad una rete neurale. Questo ci aiuta a migliorare il numero di immagini utili classificate, consentendo di raggiungere elevati livelli di recall. Inoltre, il lavoro mostra anche che la creazione di una metodologia più complessa con classificatori diversi porta a risultati migliori rispetto ad utilizzare solo reti neurali, anche in termini di precisione. D'altra parte, la crowd ha una parte importante del progetto, perché valuta il ri-sultato e risponde in tempo reale. La metodologia deve considerare questo elemento chiave e aiutare il suo lavoro. Abbiamo pertanto lavorato sia su un classificatore per for-nire immagini utili sia su un ranker. Quest'ultimo elemento fornisce un punteggio a cia-scuna immagine, in modo da poter accelerare l'analisi e l'ordinamento delle informazioni da parte della crowd. Quando le immagini di interesse sono state classificate e ordinate, possono essere utilizzate nella mappatura per fornire un miglioramento nell'analizzare le aree danneggiate.