Stream Reasoning (SR) research field is grown enough to prove that reasoning upon rapidly changing information is possible. RDF Stream Processing (RSP) Engines, systems capable to handle at semantic level RDF-encoded information flows, are increasing in number of implemented solutions. Now the Stream Reasoning community is working on the standardisation of the methods and tools that supported their development. Many Computer Science (CS) research fields shown their interest for a deeper comprehension of their own work nature. Studies like [46, 51] investigated the publications in those field, highlighting that the majority of them are allied to an Engineering epistemology. However, they also evinced and criticised the concrete differences with other engineering research areas, which focus on evaluation of the proposed systems and not only on their design and development. The lacks of an empirical approach can be ascribed to the complex nature of the software systems. However, it is possible to face such studies that cannot be easily modelled, reducing the complexity of the analysis keeping intact the relevance of each involved system. In social science and economy, where researchers deal with cross case studies, it is commonly used a Systematic Comparative Research Approach (SCRA) within an experimental setting, which grants properties like repeatability, reproducibility and comparability to build the evaluation upon. The SR community agreed that it is mandatory evaluating RSP Engines, understanding how these systems perform in real uses cases. Recent works in the filed [53, 41, 19] pursued this goal, providing benchmarks for RSP Engines evaluation. Further analysis pointed out the challenges involved by the Stream Reasoning research and posed the basis for a proper RSP Engines evaluation, describing in detail where previous works have failed and how the can be improved [44].
The limitations of the existing benchmarking proposals proved that the empirical evaluation of RSP Engines is just at the beginning. What is still missing in an infrastructure that allows to compare, possibly automatically, the performances of many RSP Engines and that grants the properties of an experimental setting. In this thesis we brace this challenge borrowing from the aerospace engineering the idea of an engine test stand, which is an automatic facility for engine testing and development. A test stand allows to design experiments and to execute them, evaluating engines in a controlled environment. Thus, we formulate the following research question: ”Can an engine test stand, together with queries, datasets and methods, support Systematic Comparative Research Approach for Stream Reasoning? ” In this thesis we propose Heaven, an open source framework that enables the Systematic Comparative Approach in the Stream Reasoning research field. Heaven consists of: an RSP Engine Test Stand, which emulates the aerospace engineering facility in the Stream Reasoning context; the Analyser, which enables the Systematic Comparative Approach trough a set of methods and tools for the investigation, hierarchically organised into a stack; and, finally, four naive implementations of RSP Engines, called Baselines, which represent simple terms of comparison to start the comparative research upon.

Lo Stream Reasoning è il settore di ricerca che ha dimostrato la possiblità di applicare procedure di reasoning su flussi informativi in rapido cambiamento. Un RDF Stream Processing (RSP) Engine è un sistema in grado di processare a livello semantico questi flussi, quando sono codificati secondo lo standard RDF. Il numero di RSP Engine implementati è in crescita e di conseguenza la comunità scientifica sta formalizzando i metodi e gli strumenti che hanno consentito lo sviluppo di queste soluzioni. Diversi settori di ricerca nell’ambito della Computer Science, hanno mostrato interesse per una maggiore comprensione della natura del proprio lavoro. Sono stati fatti diversi studi che hanno analizzato i frutti della ricerca in questi settori [46, 51]. Questi hanno dimostrato anzitutto la natura ingegneristica di molte pubblicazioni nell’ambito della Computer Science, ma anche una discreta mancanza di valutazioni empiriche delle soluzioni implementate. Questa è una differenza evidente con le altre aree di ricerca legate al mondo dell’ingegneria, che si focalizzano su questo tipo di analisi. Solitamente, nei settori informatici in cui la valutazione empirica è tralasciata, i sistemi proposti hanno una natura complessa e sfaccettata che è difficile da valutare. Tuttavia è possibile, con gli strumenti adatti, studiare anche casi complessi. Questo accade per le scienze sociali o l’economia, i cui soggetti d’indagine non sono di certo facilmente modellabili. In questi settori viene comunemente usato un approccio comparativo sistematico, che semplifica il problema di affrontare soggetti complessi, senza tralasciare gli aspetti che li rendono rilevanti. Questo approccio diventa applicabile solo in un contesto sperimentale appropriato, che garantisce proprietà come riproducibilità, ripetibilità e comparabilità. La comunità dello Stream Reasoning ha colto la necessità di fornire strumenti per valutare correttamente gli RSP Engine, comprenderne il comportamento e quantificarne il valore comparando le prestazioni in casi d’uso reali. Qualche passo in questa direzione è stato già fatto. Lavori recenti [53, 41, 19] hanno fornito framework di benchmarking per RSP Engine, mentre altri hanno posto le basi di queste valutazioni [44], mostrando quali erano le mancanze di tali framework. Le soluzioni proposte si sono dimostrate limitate, e la valutazione empirica di RSP Engine è solo all’inizio. Quello che ancora manca è una infrastruttura che permetta la comparazione sistematica di RSP Engine, all’interno di un contesto sperimentale che goda delle proprità sopracitate. Per affrontare il problema, in questa tesi, abbiamo preso dall’ingegneria aerospaziale l’idea di un banco di prova, uno strumento di valutatione e sviluppo per motori. Un banco di prova permette di progettare esperimenti ed eseguirli su qualsiasi motore, raccogliendo i dati per una successiva valutazione delle prestazioni. La nostra domanda di ricerca quindi è : ”Un banco di lavoro per RSP Engine è la soluzione che permetta la ricerca comparativa e sistematica nell’ambito dello Stream Reasoning?” In questa tesi proponiamo Heaven, un framework open source per la ricerca comparativa e sistematica nell’ambito dello Stream Reasoning. Il framework si compone di un Banco di Lavoro, l’equivalente di quanto abbiamo visto nell’ingegneria aerospaziale ma per RSP Engine. Include quattro implementazioni naive di RSP Engine, dette Baselines. Questi sistemi semplificati permettono di iniziare la ricerca comparativa. Infine Heaven contiene l’Analyser, un insieme di metodi di indagine e strumenti di supporto, organizzati gerarchicamente ed atti ad analizzare e comparare i dati raccolti attraverso l’esecuzione di esperimenti su RSP Engine tramite il banco di lavoro.

Heaven : supporting systematic comparative research of RDF stream processing engines

TOMMASINI, RICCARDO
2013/2014

Abstract

Stream Reasoning (SR) research field is grown enough to prove that reasoning upon rapidly changing information is possible. RDF Stream Processing (RSP) Engines, systems capable to handle at semantic level RDF-encoded information flows, are increasing in number of implemented solutions. Now the Stream Reasoning community is working on the standardisation of the methods and tools that supported their development. Many Computer Science (CS) research fields shown their interest for a deeper comprehension of their own work nature. Studies like [46, 51] investigated the publications in those field, highlighting that the majority of them are allied to an Engineering epistemology. However, they also evinced and criticised the concrete differences with other engineering research areas, which focus on evaluation of the proposed systems and not only on their design and development. The lacks of an empirical approach can be ascribed to the complex nature of the software systems. However, it is possible to face such studies that cannot be easily modelled, reducing the complexity of the analysis keeping intact the relevance of each involved system. In social science and economy, where researchers deal with cross case studies, it is commonly used a Systematic Comparative Research Approach (SCRA) within an experimental setting, which grants properties like repeatability, reproducibility and comparability to build the evaluation upon. The SR community agreed that it is mandatory evaluating RSP Engines, understanding how these systems perform in real uses cases. Recent works in the filed [53, 41, 19] pursued this goal, providing benchmarks for RSP Engines evaluation. Further analysis pointed out the challenges involved by the Stream Reasoning research and posed the basis for a proper RSP Engines evaluation, describing in detail where previous works have failed and how the can be improved [44].
The limitations of the existing benchmarking proposals proved that the empirical evaluation of RSP Engines is just at the beginning. What is still missing in an infrastructure that allows to compare, possibly automatically, the performances of many RSP Engines and that grants the properties of an experimental setting. In this thesis we brace this challenge borrowing from the aerospace engineering the idea of an engine test stand, which is an automatic facility for engine testing and development. A test stand allows to design experiments and to execute them, evaluating engines in a controlled environment. Thus, we formulate the following research question: ”Can an engine test stand, together with queries, datasets and methods, support Systematic Comparative Research Approach for Stream Reasoning? ” In this thesis we propose Heaven, an open source framework that enables the Systematic Comparative Approach in the Stream Reasoning research field. Heaven consists of: an RSP Engine Test Stand, which emulates the aerospace engineering facility in the Stream Reasoning context; the Analyser, which enables the Systematic Comparative Approach trough a set of methods and tools for the investigation, hierarchically organised into a stack; and, finally, four naive implementations of RSP Engines, called Baselines, which represent simple terms of comparison to start the comparative research upon.
DELL'AGLIO, DANIELE
ING - Scuola di Ingegneria Industriale e dell'Informazione
29-apr-2015
2013/2014
Lo Stream Reasoning è il settore di ricerca che ha dimostrato la possiblità di applicare procedure di reasoning su flussi informativi in rapido cambiamento. Un RDF Stream Processing (RSP) Engine è un sistema in grado di processare a livello semantico questi flussi, quando sono codificati secondo lo standard RDF. Il numero di RSP Engine implementati è in crescita e di conseguenza la comunità scientifica sta formalizzando i metodi e gli strumenti che hanno consentito lo sviluppo di queste soluzioni. Diversi settori di ricerca nell’ambito della Computer Science, hanno mostrato interesse per una maggiore comprensione della natura del proprio lavoro. Sono stati fatti diversi studi che hanno analizzato i frutti della ricerca in questi settori [46, 51]. Questi hanno dimostrato anzitutto la natura ingegneristica di molte pubblicazioni nell’ambito della Computer Science, ma anche una discreta mancanza di valutazioni empiriche delle soluzioni implementate. Questa è una differenza evidente con le altre aree di ricerca legate al mondo dell’ingegneria, che si focalizzano su questo tipo di analisi. Solitamente, nei settori informatici in cui la valutazione empirica è tralasciata, i sistemi proposti hanno una natura complessa e sfaccettata che è difficile da valutare. Tuttavia è possibile, con gli strumenti adatti, studiare anche casi complessi. Questo accade per le scienze sociali o l’economia, i cui soggetti d’indagine non sono di certo facilmente modellabili. In questi settori viene comunemente usato un approccio comparativo sistematico, che semplifica il problema di affrontare soggetti complessi, senza tralasciare gli aspetti che li rendono rilevanti. Questo approccio diventa applicabile solo in un contesto sperimentale appropriato, che garantisce proprietà come riproducibilità, ripetibilità e comparabilità. La comunità dello Stream Reasoning ha colto la necessità di fornire strumenti per valutare correttamente gli RSP Engine, comprenderne il comportamento e quantificarne il valore comparando le prestazioni in casi d’uso reali. Qualche passo in questa direzione è stato già fatto. Lavori recenti [53, 41, 19] hanno fornito framework di benchmarking per RSP Engine, mentre altri hanno posto le basi di queste valutazioni [44], mostrando quali erano le mancanze di tali framework. Le soluzioni proposte si sono dimostrate limitate, e la valutazione empirica di RSP Engine è solo all’inizio. Quello che ancora manca è una infrastruttura che permetta la comparazione sistematica di RSP Engine, all’interno di un contesto sperimentale che goda delle proprità sopracitate. Per affrontare il problema, in questa tesi, abbiamo preso dall’ingegneria aerospaziale l’idea di un banco di prova, uno strumento di valutatione e sviluppo per motori. Un banco di prova permette di progettare esperimenti ed eseguirli su qualsiasi motore, raccogliendo i dati per una successiva valutazione delle prestazioni. La nostra domanda di ricerca quindi è : ”Un banco di lavoro per RSP Engine è la soluzione che permetta la ricerca comparativa e sistematica nell’ambito dello Stream Reasoning?” In questa tesi proponiamo Heaven, un framework open source per la ricerca comparativa e sistematica nell’ambito dello Stream Reasoning. Il framework si compone di un Banco di Lavoro, l’equivalente di quanto abbiamo visto nell’ingegneria aerospaziale ma per RSP Engine. Include quattro implementazioni naive di RSP Engine, dette Baselines. Questi sistemi semplificati permettono di iniziare la ricerca comparativa. Infine Heaven contiene l’Analyser, un insieme di metodi di indagine e strumenti di supporto, organizzati gerarchicamente ed atti ad analizzare e comparare i dati raccolti attraverso l’esecuzione di esperimenti su RSP Engine tramite il banco di lavoro.
Tesi di laurea Magistrale
File allegati
File Dimensione Formato  
2015_04_Tommasini.pdf

accessibile in internet per tutti

Descrizione: Thesis text
Dimensione 6.68 MB
Formato Adobe PDF
6.68 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/106731