Automatic metaresearch on scientific communities

The evolution and the growth of scientific communities introduced the need of tools to help the researchers knowing better they research field. This work studied and developed a set of tools to perform meta-research in an automated or semi-automated fashion. In particular, the methodologies developed within this thesis work include: a tool to identify the topic of a research field, an instrument able to tell what a paper is talking about and a technique to determine the topics a researcher is interested in. These tools rely on text mining techniques that made it possible to extract the information from the literature in a data driven process. A huge set of articles from the literature has been used as the data source for the topic identification process and to train the tool that guesses the topic of a paper. The profile of the researchers has been built considering the articles he or she previously wrote. The analytical tools developed have then been used in the realization of two different kind of application. The first is devoted to perform studies about the evolution of the research topics by first identifying them and later observing how they distributed over the years in some relevant conferences of the research field. The second application developed is a recommender system that wants to help the members of the organizing committee of a conference in the selection of the papers to review by suggesting them the articles the best match with their profile. The methodology has then been validated by applying it to the software engineering research field. After having generated a model of the research interest, their evolution has been studied in two journals (IEEE TSE and ACM TOSEM) and in a conference (ICSE), highlighting the common trends as well as the peculiarities of each venue. Finally the paper recommender system has been tested with the organizing committee of two conferences (ICSM 2010 and ICSE 2011).

L'evoluzione e la crescita delle comunità scientifiche ha introdotto la necessità di strumenti che aiutino i ricercatori nel conoscerle meglio. Questo lavoro di tesi ha studiato e implementato un insieme di strumenti in grado di automatizzare le operazioni di meta-ricerca. In particolare, sono stati sviluppati: uno strumento per idenficare i temi di ricerca, uno per determinare l'argomento di un articolo e una tecnica per individuare gli interessi di un ricercatore. Questi strumenti si basano su delle tecniche di elaborazione dei testi che rendono possibile l'estrazione di informazioni dalla letteratura scientifica in un processo basato sui dati. I primi due strumenti si basano sull'utilizzo di un ampio insieme di articoli scentifici. La generazione del profilo di un ricercatore è effettuata sulla base degli articoli che ha scritto in precedenza. Queste tecniche sono poi state utilizzate nell'implementazione di due diverse applicazioni: una creata con lo scopo di identificare i temi di ricerca all'interno di una comunità per poi osservarne la loro evoluzione, l'altra per supportare i membri del comitato organizzativo di una conferenza nella scelta degli articoli da revisionare, proponendo quelli più vicini al loro profilo. Le metodologie sviluppate sono state testate applicandole alla comunità di ingengeria del software. Dapprima è stato generato un modello degli interessi della comunità, utilizzato poi nello studio della loro evoluzione in due riviste (IEEE TSE e ACM TOSEM) e in una conferenza (ICSE), mostrando sia le caratteristiche comuni sia le differenze tra le diverse pubblicazioni. Infine, lo strumento per suggerire gli articoli rilevanti è stato testato con i comitati organizzativi di due diverse conferenze, ICSM 2010 e ICSE 2011.