Semantic modeling of the global structure of buildings

Autonomous mobile robots can perform many different tasks to help humans during their activities or to replace them in hazardous environments and in simple routine operations. When we consider indoor tasks, robots have to interact with environments that are specifically designed for human activities and for interaction between humans, buildings. Buildings are strongly structured environments that are organized in regular patterns. For instance, rooms typically have a geometrical structure that is characterized by features, such as walls perpendicular to the floor and to the ceiling, and by a layout that can be, in most cases, approximated by a box-like model. In order to increase their ability to autonomously operate in indoor environments, robots must have a good understanding of buildings, similarly to that human beings exploit during their everyday activities. If we consider how people and robots interact with indoor environments, it can be said that people naturally understand and “read" buildings as human-made environments (and act in them accordingly), and that this is hardly the case for autonomous mobile robots. One of the most important tools that researchers have developed to ad- dress a robot’s needs for interacting with an indoor environment are se- mantic maps. Semantic maps are abstract representations which aim to represent the meaning of parts of the perceived environment in order to provide robots a human-like understanding of their surroundings. Semantic maps can be used for describing heterogeneous concepts that can be useful for robots, such as objects and rooms. In this dissertation, we focus on a particular type of semantic maps, which identifies rooms, represents how rooms are connected, and assigns to each room a semantic label indicating its function, such as ‘corridor’, ‘classroom’, ‘office’, or ‘bathroom’. Semantic maps are usually build on metric maps, that represent the space occupation and are particularly useful for tasks such as path planning and localization. Typically, the interaction between a robot and its environment is heavily based on data acquired with perception. Mapping methods usually provide reliable knowledge only on parts of the environment that have been already visited. This approach often implies that what has not been seen by the robot does not exists, adopting, in a sense, a closed world assumption on the environment. This statement is true considering both semantic and metric maps. This form of interaction with the environment is radically different from that of humans, who can easily navigate and comprehend the structure of buildings even without having seen them before. The contribution of this thesis moves from the consideration that the global structure of buildings, which is often neglected when building semantic maps, could be exploited to increase the autonomous abilities of robots when operating in indoor environments. Our proposed framework aims at identifying and at overcoming the limitations in standard semantic mapping methods by starting from two insights on indoor environments. In first place, we consider an entire floor of a building as a single object, by identifying relations between different (and potentially unconnected) parts of the building. This can be done both considering the metric map of the environment, for example by identifying that rooms in different parts of the building share one or more walls, and by considering the topology of the environment, namely how rooms are connected with each other, and for example observing that parts of the building with a similar function have a similar structure. Moreover, we consider each building in relation with other buildings with the same function. The function of a building is represented by the main activity that each building is designed for and is captured by the concept of building type. Examples of building types are schools, offices, hospitals, university, shopping malls, and others. The function of a building imposes its structure, its floor plan, and the structure of its rooms. Each building, having a precise function, shares some structural features with all other buildings with the same purpose. Exploiting these two observations, we provide an analytical model of the structure of a building that considers altogether all the relations between its single parts and that considers the features shared by the set of buildings belonging to the same type. We start from reconstructing the layout of an indoor environment from its metric map. The layout can then be used for obtaining a graph representation the building. In our approach, data from the metric maps are used in combination with data representing floor plans of buildings belonging to the same type. Using graph kernels and Monte Carlo Markov Chains, we provide a method able to generate new instances of building structures from a set of examples. We outline some possible applications of our approach, involving reasoning on unknown parts of buildings and labelling entire floors of buildings accordingly to their function.

In un prossimo futuro, i robot mobili autonomi potranno aiutarci nelle attività quotidiane, sollevarci da compiti svolti in ambienti pericolosi, e svolgere per noi semplici attività ripetitive. In particolare, già ora, i robot che operano in ambienti indoor devono sapersi muovere e interagire con delle strutture appositamente progettate per l’attività umana e per un uso specifico, gli edifici. Gli edifici sono ambienti fortemente strutturati e sono organizzati in una serie di pattern regolari. Le stanze, ad esempio, hanno tipicamente una struttura geometrica caratterizzante, con pareti perpendicolari al pavimento e al soffitto ed un aspetto che, nella maggior parte dei casi, può essere approssimato da un box-model, un parallelepipedo. Un robot autonomo deve essere in grado di capire in maniera efficace l’ambiente in cui si trova, cercando di avere un comportamento quanto più simile possibile a quello della propria controparte umana. Se consideriamo come le persone vivono all’interno degli edifici, si può vedere come esse naturalmente riescano a comprendere e leggere gli edifici come costruiti attorno a loro; una considerazione simile non è invece fattibile quando si parla di robot. Uno dei metodi più efficaci che un robot ha a disposizione per com- prendere l’ambiente che lo circonda è la mappa semantica. Una mappa semantica è una rappresentazione astratta dell’ambiente in cui viene attribuito un significato alle parti dell’ambiente percepite dal robot. Il fine di una mappa semantica è di fornire al robot la possibilità di comprendere l’ambiente che lo circonda in maniera simile ad un essere umano. Le informazioni contenute in una mappa semantica possono essere di diverso tipo, e variano in base all’ambiente in cui il robot deve operare (interno o esterno) e ai compiti che il robot deve svolgere. Una mappa semantica è dunque una descrizione eterogenea dell’ambiente funzionale all’attività del robot e contenente indicazioni quali la presenza di oggetti e la tipologia delle sin- gole stanze. In questo lavoro di tesi, ci concentreremo su una particolare tipologia di mappa semantica finalizzata ad identificare le stanze presenti nell’edificio, a capire come sono tra loro connesse e ad assegnare loro una etichetta semantica indicante la loro funzione, come ‘corridoio’, ‘classe’, ‘ufficio’ o ‘bagno’.‘ Le mappe semantiche sono tipicamente ricavate a par- tire da mappe metriche, le quali rappresentano lo spazio come occupato o libero, e che sono particolarmente utili per attività come il path planning e la localizzazione. L’interazione tra il robot e l’ambiente in cui opera è solitamente caratterizzata dai dati acquisiti mediante i sensori. Di conseguenza, i metodi di mapping forniscono al robot dei dati e delle informazioni solo su quelle porzioni dell’ambiente che sono già state visitate dal robot stesso. Questo approccio implica il fatto che tutto ciò che non è stato già visto dal robot, di solito non venga considerato affatto. Per un robot, quindi, ciò che non ha visto è come se non esistesse, adottando, in un certo senso, una closed- world assumption. Questa considerazione, ugualmente valida per mappe metriche e mappe semantiche, fa sì che la percezione dell’ambiente da parte di un robot sia radicalmente diversa da quella di un essere umano, che riesce facilmente a orientarsi e comprendere la struttura di un edificio anche senza averlo mai visto prima. Il contributo di questo lavoro di tesi parte dalla considerazione che la struttura di un edificio, che spesso non viene considerata come una fonte di informazioni per il mapping semantico, può essere utilizzata per aumentare l’autonomia e le capacità percettive dei robot quando questi operano in ambienti indoor. In particolare, vogliamo proporre di identificare e superare alcune limitazioni nel corrente stato dell’arte del mapping semantico sfruttando due considerazioni sulla natura stessa degli edifici. In primo luogo, consideriamo un intero piano di un edificio come un oggetto unico identificando delle relazioni tra le varie parti che lo compongono, siano anche non direttamente connesse. Questo può essere fatto at- traverso la mappa metrica, ad esempio identificando come due stanze poste in parti differenti dello stesso piano condividano una parete, o considerando la topologia dell’ambiente, ovvero come le stanze sono connesse tra loro, ad esempio osservando che parti dell’edificio che sono deputate alla stessa funzione hanno una simile struttura. In secondo luogo, consideriamo ogni edificio in relazione con l’insieme degli edifici aventi la stessa funzione. La funzione di un edificio è l’attività principale che deve essere svolta al suo interno, per cui è stato concepito e progettato, e per cui viene usato. Per funzione di un edificio facciamo riferimento al concetto di tipo edilizio, discusso ed analizzato in architettura. Esempi di tipi edilizi sono l’edilizia scolastica, gli ospedali, le università, i centri commerciali, o le abitazioni. La funzione di un edificio impone quella che è la sua struttura, la sua planimetria, la forma e la disposizione delle stanze che lo compongono. Ogni edificio, avendo una precisa funzione, condivide delle proprietà strutturali con tutti quegli altri edifici appartenenti allo stesso tipo edilizio. Sfruttando queste due considerazioni, proponiamo un modello analitico della struttura di un edificio che consideri allo stesso tempo le relazioni tra le sue singole componenti e che consideri le proprietà che condivide con l’insieme degli edifici appartenenti allo stesso tipo edilizio. A tale fine, il primo passo da compiere è la ricostruzione della planimetria dell’edificio a partire dalla sua mappa metrica. La planimetria può essere usata per ricavare una rappresentazione a grafo dell’edificio. Questa rappresentazione a grafo viene così sfruttata in combinazione con la mappa metrica e con i dati ottenuti da altri ambienti appartenenti alla stessa tipologia. Mediante l’uso di kernel su grafi e di Monte Carlo Markov Chains, proponiamo un metodo capace di generare nuove istanze di possibili strutture di edifici a partire da un insieme di esempi. Concludiamo così con un insieme di possibili esempi applicativi del nostro metodo, finalizzati soprattutto ad ottenere informazioni su porzioni dell’ambiente che non sono state ancora esplorate dal robot.