Using VLMs to geolocate images of indoor environments

When dealing with indoor images in the context of image geolocalization, it is hard to effectively locate them due to the fact that these environments can be ambiguous, generic, and vague. On the other hand, outdoor scenes usually contain landmarks or details that point to particular regions in the world and are generally easier to recognize. In this thesis, we mainly explore how existing open source available VLMs perform on the indoor image geolocation task by making use of these powerful models inherent world knowledge, which includes, but is not limited to, recognizing text, architectural styles, decor, and cultural context; this inherent deep understanding can be useful when recognizing subtle details in indoor images. One of the main and most useful applications of this study could be to build a tool designed to support law enforcement in the fight against human trafficking by developing a methodology that could help pinpoint where exploitative and harmful material is produced. Furthermore, it could also help in detecting and identifying fraudulent online room listings produced with generative ai tools (deepfakes). However, it is imperative not to ignore the potential privacy and ethical risks that may arise if this tool is used incorrectly. In this thesis, we investigate how effective VLMs are at accurately pinpointing the location of a given image while working with indoor environments, both with and without fine tuning techniques. Since the final use is to utilize these techniques in real life, it is crucial and essential to research how VLMs perform on the task.

Quando si tratta di immagini di ambienti interni, nel contesto della geolocalizzazione, è arduo localizzarle con precisione, visto che queste ambientazioni possono essere ambigue, generiche e poco chiare. D'altra parte, gli ambienti esterni contengono spesso dettagli che possono essere riconducibili ad alcune regioni del mondo, essendo quindi piu facili da riconoscere. In questa tesi esploriamo principalmente come alcuni modelli linguistici visivi open-source possano performare su questo compito, sfruttando la loro conoscenza intrinseca, che include, ma non è limitata al riconoscimento di testo, stili architettonici, contesto culturale e arredamenti; questa conoscenza può essere utile per riconoscere piccoli e minuziosi dettagli in immagini di interni. Uno dei principali obiettivi e applicazioni di questo studio potrebbe essere quello di costruire uno strumento per supportare le forze dell'ordine nella lotta contro il traffico di esseri umani, sviluppando una metodologia che aiuterebbe a localizzare con precisione il luogo in cui viene prodotto e filmato materiale illecito di sfruttamento. Inoltre, potrebbe anche aiutare a identificare e rilevare annunci di stanze false e fraudolente, prodotte con strumenti di intelligenza artificiale generativa (deepfakes). Tuttavia, è importante non ignorare le potenziali problematiche etiche e di privacy che possono insorgere se questi strumenti vengono utilizzati in modo incorretto. In questa tesi investighiamo quanto efficacemente i modelli linguistici visivi siano in grado di identificare correttamente la posizione geografica di un'immagine, lavorando con immagini di ambienti interni, con e senza tecniche di fine-tuning. E' essenziale studiare e ricercare la loro capacità, visto che il principale obiettivo è usarli in scenari del mondo reale.