Transformer-based geolocation of indoor images with segmentation-based visual explanation

As reported by the CDTC (Counter-Trafficking Data Collaborative), data collected since 2002 show that human trafficking crimes are steadily increasing, with up to 15% increase. When computer forensic experts come in possession of encrypted photos of the victims, which are usually taken inside of hotel rooms, they face various difficulties in trying to locate the scene of the crime. This thesis aims to develop a tool to facilitate the localisation of crime scenes. The localisation of hotels is a rather difficult task because of the similarity that can exist between hotel rooms belonging to the same chain in different locations around the globe, and at the same time the dissimilarity that can exist between different rooms in the same hotel. In addition, our work can be useful for detecting fake advertisements with photos showing the interior of a house located in a different place than the one mentioned on real estate agency web-pages or Airbnb. In order to be really useful to the Police, a tool should not simply be capable of identifying the location of hotels or B&Bs (Bed and Breakfast). It should not only accurately locate the place, or at least narrow the search, but also provide explanations on which elements were relevant to arrive at a given prediction. For these reasons, in this thesis we have decided to focus on both aspects (locating and providing explanation), using some of the most powerful neural networks and adapting numerous XAI (Explainable Artificial Intelligence) approaches to obtain meaningful visual explanations. We addressed the indoor geolocation problem as a hierarchical classification task, predicting simultaneously the city, the country and the region in the world of a desired indoor scene image. To conclude, we show the effectiveness of our model with a demo and some experiments capable of identifying highly informative elements within an image in terms of predicting its geographical location.

Come riportato dal CDTC (Counter-Trafficking Data Collaborative), i dati raccolti dal 2002 mostrano che i crimini legati al traffico di esseri umani sono in costante aumento, con un incremento fino al 15%. Quando gli esperti di perizie informatiche forensi entrano in possesso di foto criptate delle vittime, che di solito sono scattate all’interno di stanze d’albergo, affrontano varie difficoltà nel cercare di localizzare la scena del crimine. Questa tesi mira a sviluppare uno strumento per facilitare la localizzazione delle scene del crimine. La localizzazione degli hotel è un compito piuttosto difficile a causa della somiglianza che può esistere tra camere d’albergo appartenenti alla stessa catena in diverse località del mondo, e allo stesso tempo la dissomiglianza che può esistere tra diverse camere dello stesso hotel. Inoltre, il nostro lavoro può essere utile per individuare annunci falsi con foto che mostrano l’interno di una casa situata in un luogo diverso da quello menzionato sulle pagine web delle agenzie immobiliari o su Airbnb. Per essere davvero utile alla polizia, uno strumento non deve semplicemente essere in grado di identificare la posizione di hotel o B&Bs (Bed and Breakfast). Dovrebbe non solo localizzare accuratamente il luogo, o almeno restringere il campo di ricerca, ma anche fornire spiegazioni su quali elementi sono stati rilevanti per giungere ad una determinata predizione. Per questi motivi, in questa tesi abbiamo deciso di concentrarci su entrambi gli aspetti (localizzare e fornire spiegazioni), utilizzando alcune delle reti neurali più potenti e adat- tando numerosi approcci XAI (Explainable Artificial Intelligence) per ottenere spiegazioni visive significative. Abbiamo affrontato il problema della geolocalizzazione di foto di interni come un compito di classificazione gerarchica, prevedendo simultaneamente la città, il paese e la regione del mondo in cui un’immagine di interni è stata scattata. Per concludere, mostriamo l’efficacia del nostro modello con una demo e alcuni esperimenti in grado di identificare elementi altamente informativi all’interno di un’immagine per la predizione della sua posizione geografica.