Real and digital cities: Biclustering of Milan Neighbourhoods and Foursquare Venue Categories

Urbanscope is a project by Politecnico di Milano which aims at creating a macroscope of Milan able to describe how the city is lived by using big data deriving from social media. As the first main original contribution of this work, a new visualisation tool for the “City magnets” section of the Urbanscope website has been created. The purpose is to identify the neighbourhoods of Milan, called NILs, which are perceived similarly according to some venue categories. Data derive from Foursquare, a social networking system that enables a user to share their location with friends via the “check-in”, thus providing valuable information regarding the most attractive categories in every NIL. Precisely, after a review of the principal methods proposed in literature, it has been decided to perform the Cheng and Church’s Biclustering algorithm in order to create the new website section. The application of this method and in general of Biclustering on social media data could be considered a unicum in the whole literature which is principally based on gene expression data. In order to have understandable biclusters, different Clustering procedures helped to describe the evolution of Milan month by month and to perform a dimensional reduction of the large number of categories. Therefore, it was possible to see how the popularity of NILs of Milan is highly correlated to the events they host. In the end, the resulting biclusters had to be processed because of the wide and diversified audience of the Urbanscope project which aims at being comprehensible and interesting to everyone. Therefore, last efforts were made to reorganise biclusters in a better visualisation characterised by a user-friendly interface and interactive features.

Urbanscope è un progetto del Politecnico di Milano che mira alla creazione di un macroscopio della città, cioè un insieme di strumenti in grado di descrivere come Milano sia vissuta e percepita grazie all’analisi di big data provenienti dai social media. Questa tesi rientra nell’obiettivo di arricchimento del macroscopio per mezzo di nuove visualizzazioni. In questo caso si è lavorato alla creazione della sezione “City magnets”. L’obiettivo era di identificare quali zone di Milano, dette NIL, sono percepite in maniera simile per quanto riguarda alcune categorie di venues. I dati derivano da Foursquare, una piattaforma social che permette ai suoi utenti di condividere la propria posizione con gli amici per mezzo di “check-in”. Il social network mette quindi a disposizione delle informazioni molto utili riguardo a quali siano le categorie di venues maggiormente attrattive in ogni NIL di Milano. Precisamente, dopo una revisione dei principali metodi proposti dalla letteratura, è stato deciso di applicare il Cheng and Church’s Biclustering algorithm in modo tale da creare la nuova sezione del sito internet. L’applicazione di questo metodo e in generale di qualsiasi altro algoritmo di Biclustering su dati di tipo social potrebbe essere considerata un unicum all’interno dell’intera letteratura, principalmente basata su problemi di tipo genetico. Prima di intraprendere lo studio con tale tecnica, però, diversi approcci di Clustering sono stati d’aiuto per descrivere la dinamica evolutiva della città di Milano mese dopo mese e per ridurre l’elevato numero di categorie. Quindi, è stato possibile avere la conferma di come la popolarità dei NIL di Milano sia altamente correlata con gli eventi che essi ospitano. Infine, i bicluster risultanti, troppi farraginosi per un pubblico non esperto, sono stati modificati in modo tale da risultare comprensibili a tutti i possibili utenti del sito di Urbanscope. Di conseguenza, tutti gli ultimi sforzi sono stati effettuati nella direzione di riorganizzare i bicluster in una migliore visualizzazione, caratterizzata da un’interfaccia naturale da usare e il più possibilmente interattiva.