Connections among images, texts and maps

All the several disciplines concerning survey constituted in a single science with the foundation of geodesy and cartography. Over more than four centuries, they both contributed to the development of major branches of applied mathematics: 3D space geometry, calculus, statistics, and treatment of spatial observations. After the second half of the twentieth century, information technologies made new observations available, while data had very different quality and size of databases grew, requiring the use of new methodologies and procedures for data analysis. Within this picture, geometry, mathematical analysis and discrete mathematics show some limits which prevent the construction of robust models that Statistics could easily handle. In fact, there is now the need for the complete automation of procedures for both management and processing of data: size of available databases requires considerable computing power and should undergo a drastic downsizing, in order to allow a manual analysis or processing. Naturally, then, the technique developed and searched the most effective solution for calculation automation: in particular, some operational problems are substantially solved yet, by the use of dedicated software. The primary focus of this thesis is to develop further strategies of elaboration, looking for analysis simplification by increasing the effectiveness of the automation: the aim is to reduce the number of computational steps, which actually force the use of extremely sophisticated software and hardware. We applied some principles of Linguistics, finding new processing strategies for geomatic analysis (study of information contained in maps and images). We demonstrated that the centring (matching) required for databases comparison can be successfully improved by using: - the analysis of the connections, where the high probability of intersections is taken as a parameter of recognition reliability, - and direct comparisons between the structures of the graphs. Starting from the contrast between the rationalist approach and the empirical point of view, we are looking for integrated tools of abstract rules and statistical modules: so this is a new science, the so-called Human Computer Sciences, or Knowledge Engineering. The main goal of this modern discipline is image processing, assisted by machine learning and robot vision. However, the linguistic competence computer technology can simulate is not yet comparable to that in humans, mainly for two reasons: there’s a technical limit to feigning and even the understanding of language processing is incomplete up to now. The thesis project focuses on a possible new challenge of artificial intelligence, suggesting a theoretical proposal about image matching in the geomatic field: my study deals with the chance to integrate the concepts borrowed by liberal arts in the humanistic field, into the context of automated data. The final target is to measure the reliability of the rules of the Universal Grammar by Chomsky, integrated into the automatic reading of maps and images: we’ll perform a syntactic recognition of comparison models among maps, images or 3D models, by using archetypes. Indeed, there is an analogy between the hierarchical structure (tree-shaped) of models and languages syntax: in fact, the combination rules-representations perfectly corresponds to the representation of syntactic structures in mind. Please note that: - models are built by sub-models, just as words compose sentences; - while sub-models consist of primitives, just as combinations of letters and syllables make up words. Grammars are then defined as combination rules for objects primitives and they directly derive from the language that can describe the model. Given that a valid syntactic approach can successfully describe complex objects, I studied its expressive capacity through: - analysis of the number of primitives in the chosen and adopted model. Naturally, a modest amount of atomic elements makes easier both computation, both management of an automated system; - and analysis of rules, to be applied iteratively according to re-writing instructions. Therefore, the best possible syntactic representation establishes an effective compromise between the number of existing relationships and the endless amount of primitives necessary for the model description, taking into account the technical constraints (the available computational power) and final result of the study. Applications of the syntactic method for pattern recognition are several and refer to the use of different types of grammars: for example, this technique is used to analyse shapes of waves and boundaries (seismograms, electrocardiograms and electro-encephalograms). In the geomatic field, we could study the textures of digital images, or improve results in soil classification from satellite images: in fact, stochastic grammars can produce models for this kind of elaborations. With reference to the matching between images and maps, the aim of this thesis is to prove the bijective correspondence between an image and a text relevant to its description, of course considering that quality of correspondence depends on both image definition and text complexity. The text shall perfectly correspond to visible structures in the image, without referring to single objects: the key point is that such a text isn’t a map. This thesis walks through a brief description of the state of the art in image processing, with a short recall of cultural heritage due to Computer Science, Logic and Psychology. Then, it reports the principles of computer vision, while verifying eventual hints for automatic pattern recognition. The second chapter deals with Linguistics, through the history of the study of language, until the formulation of the Universal Grammar and the theory of formal languages, by Chomsky. The third chapter analyse a case study, relevant to my experience in an image representation. I deal with further representations of a single image, taken by a common digital camera, aiming to a textual description that could be eventually traced back to the original scene. First of all, the picture is not widely recognizable, nor professional, in order to reduce the impact due to previous awareness of symbols and proportions. Then, there’s an image description, with object-based structure, targeting to build a conceptual map that streamlines the further development of (semi) automatic software: it should offer interpretation and classification to representations, which shall be unambiguous and reliable as much as possible. A drawing-skilled guy performed the reconstruction of the image: I evaluated results for his two tentative (unsupervised procedure and supervised one), then a rescaling really improved final likelihood assessment values. My work ends with an evaluation of the overall reliability of the proposed procedure, while suggesting some hints in order to improve details and correctness of description. The thesis focuses on the cultural reasons of a possible choice, therefore clues are just an indication for other researchers – but of course they shall be taken into due account when an automatic system is under construction. A computerized expert system, able to translate images into their textual descriptions, or to reconstruct an image representation starting with its text, is out of the scope of this thesis: the creation of software would have been too demanding for a single person, while it could have been completely useless in case the procedure cannot prove its reliability. Conversely, now that effectiveness of procedure seems to be proved, the automation could be an interesting field to explore, as an outcome of this thesis work.

Le discipline del rilevamento sono diventate unitarie con la nascita di Geodesia e Cartografia. In quattro secoli, entrambe hanno contribuito allo sviluppo della matematica applicata: geometria 3D, calcolo, statistica, trattamento delle osservazioni spaziali. Dalla seconda metà del XX secolo, le scienze dell'informazione hanno reso disponibili dati nuovi, di qualità differenti. La dimensione dei database cresce, richiedendo l'uso di metodi e procedure appositi per l'analisi delle informazioni. In questo contesto, geometria, analisi matematica e matematica discreta mostrano i propri limiti, sostanzialmente impedendo la costruzione di modelli robusti che la Statistica possa padroneggiare. In effetti, c'è ormai l'esigenza di ottenere la completa automatizzazione delle procedure, sia per la gestione, sia per il processamento dei dati disponibili: la dimensione dei database richiede infatti prestazioni computazionali notevoli e dovrebbe affrontare una riduzione drastica per permettere eventualmente un'analisi manuale. Naturalmente, la tecnica si è sviluppata cercando la più efficace soluzione per l'automatizzazione del calcolo: alcuni problemi sono già stati risolti, con l'impiego di software dedicati. L'obiettivo principale di questa tesi è lo sviluppo di ulteriori strategie di elaborazione, che permettano di semplificare l'analisi (per esempio, aumentando l'efficacia dell'automazione). L'obiettivo è ridurre il numero delle computazioni necessarie, che oggi determinano l'uso di software e hardware estremamente sofisticati. Abbiamo applicato alcuni principi della Linguistica all'ambito geomatico, identificando nuove strategie di processo per l'analisi (lo studio delle informazioni contenute in mappe e immagini). Abbiamo dimostrato che la centratura (matching) richiesto per il confronto diretto di database può essere notevolmente migliorato impiegando: - l'analisi delle connessioni, - e il confronto diretto delle strutture dei grafi. Cominciando dal contrasto tra l'approccio razionalista e il punto di vista empirico, abbiamo cercato strumenti integrati di regole astratte e moduli statistici: si tratta di una nuova scienza, chiamata Ingegneria della Conoscenza. L'obiettivo principale di questa moderna disciplina è il processamento di immagini, assistita dall'apprendimento automatico e dalla visione robotica. La competenza linguistica simulata da un computer non è ancora confrontabile con quella umana: c'è un limite tecnico. Il progetto di questa tesi si concentra su una proposta teorica in ambito geomatico, per il confronto di immagini: l’obiettivo finale è misurare l’affidabilità delle regole della Grammatica Universale di Chomsky, integrate nella lettura automatica di mappe e immagini. Eseguiremo il riconoscimento sintattico di modelli tra mappe, immagini e modelli 3D usando archetipi. Infatti, c’è un’analogia tra la struttura ierarchica (a forma di albero) della sintassi di modelli e linguaggi: la combinazione regole-rappresentazioni corrisponde perfettamente alla rappresentazione delle strutture sintattiche nella mente umana. Si noti che: - i modelli sono costituiti di sotto-modelli, come le frasi si compongono di parole; - i sotto-modelli sono composti da primitive, come le parole sono costituite da lettere e simboli. Le grammatiche sono definite da regole di combinazione per le primitive e derivano direttamente dal linguaggio che può descrivere il modello. Dato che un approccio sintattico è valido quanto più è capace di descrivere oggetti complessi, ne ho studiato le potenzialità attraverso: - l’analisi del numero delle primitive nel modello scelto e adottato. Naturalmente, un numero modesto di elementi “atomici” permette una gestione più agevole del sistema automatico; - e l’analisi delle regole, da applicare iterativamente secondo regole di ri-scrittura. La migliore rappresentazione sintattica possibile stabilisce un compromesso efficace tra il numero delle relazioni esistenti e la miriade di primitive necessarie alla descrizione del modello, considerando i vincoli tecnologici (la potenza computazionale disponibile) e i risultati dello studio. Sono molteplici le applicazioni del metodo sintattico e si riferiscono all’impiego di grammatiche differenti: per esempio, la tecnica è usata per l’analisi delle forme di onde e contorni (sismogrammi, elettrocardiogrammi ed elettroencefalogrammi). In ambito geomatico, possiamo studiare le texture di immagini digitali, o migliorare i risultati della classificazione dei terreni da immagini satellitari: le grammatiche stocastiche possono produrre modelli per questo tipo di elaborazioni. Con riferimento al confronto tra immagini e mappe, lo scopo di questa tesi è provare la corrispondenza biunivoca tra un’immagine e un testo con la sua descrizione, certo considerando che la qualità della corrispondenza dipende sia dalla definizione dell’immagine, sia dalla complessità del testo. Esso deve corrispondere perfettamente alle strutture visibili nell’immagine, senza riferimento diretto a singoli oggetti: il testo non è una mappa. La tesi propone una breve descrizione dello stato dell’arte nel campo del processamento di immagini, con una piccola digressione sull’eredità culturale di Informatica, Logica e Psicologia. Successivamente, si riportano i principi fondanti della visione automatica, verificando eventuali possibilità nell’ambito della pattern recognition. Il secondo capitolo si occupa di Linguistica, attraverso la storia dello studio del linguaggio, fino alla formulazione della teoria della Grammatica Universale e dei Linguaggi Formali, ad opera di Chomsky. Il terzo capitolo analizza un caso di studio, ovvero l’esperienza diretta della rappresentazione di un’immagine. Si discutono rappresentazioni successive della medesima immagine, acquisita con una fotocamera digitale comune, fino a costruire una descrizione testuale che può ricondurre all’immagine originale. Naturalmente, il soggetto dell’immagine non è riconoscibile, né la ripresa è professionale, per ridurre il più possibile la possibilità che l’immagine sia ricostruita in base a conoscenze pregresse di simboli o proporzioni. La descrizione dell’immagine – costruita su una struttura orientata a oggetti – è sostanzialmente la mappa concettuale che indirizza l’eventuale successivo sviluppo di un sistema semi-automatico, che offra un’interpretazione e la classificazione delle rappresentazioni (il più possibile esplicite e affidabili). Un disegnatore esperto ha eseguito per me la ricostruzione dell’immagine: ho elaborato i risultati relativi a entrambi i tentativi di rappresentazione (uno completamente autonomo e uno “asseverato”), valutandone la somiglianza rispetto all’immagine originale. Il lavoro si conclude con la (positiva) valutazione dell’affidabilità complessiva della procedura proposta; si suggeriscono inoltre alcune rifinitura nella descrizione, per migliorare la resa dei dettagli e la correttezza del testo. La tesi si concentra sulle ragioni culturali della procedura proposta, quindi i suggerimenti sono abbozzati e consegnati nelle mani di altri ricercatori, che potranno ampliare lo studio o lavorare alla costruzione di un sistema automatico. Un sistema esperto automatico, che fosse capace di tradurre le immagini in descrizioni testuali, o di ricostruire un’immagine a partire dal testo, è escluso dallo scopo di questa tesi: la creazione di un software sarebbe stata eccessivamente onerosa per una persona sola; inoltre il programma sarebbe stato inservibile se la procedura non avesse dimostrato la propria credibilità. Di contro, ora che l’efficacia del sistema è provata, l’automazione sarebbe un interessante sviluppo di questa tesi.