Content-based impact of academic research

Information Access has been always a concern for the researchers in the scientific environment. After the introduction of World Wide Web, scientific documentation available on the Web increased quickly. As a reaction to this data growth on the Web, the search engines appeared in the academic scenario like a proposed retrieval solution for Internet. From many years ago, the researchers turn to citation tracking to find the most influential articles for a particular topic and to see how often their own articles are cited or used by other authors. The search engines try to adapt this concept to the Web domain. Although each search engine has its own way of finding the information, it is important to standardize or have a common indicator to measure the relevance and importance of the found data. The first two popular attempts for a common indicator were Impact Factor (IF) and h-index. The first one, measures the prestige of journals and the h-index attempts to measure the reputation, productivity and citation impact of the authors. Despite the amount of critiques to these two factors, both still resist because there is not a different alternative in sight in the near future. In the current search engines, the metrics focus on authors and articles, disregarding the content of the publications. This is the main reason because the conventional tools are not helping researchers in the identification of impactful content for specific research purposes. This study aims to become a first systematic approach to define the parameters needed to find new impact measure alternatives based in the content. A comparative analysis of search engines is proposed, where an extended list of search engines is evaluated using a set of factors that have been defined previously. A third analysis will be done in future using Delphi, that seems the most suitable process to find a consensus among researchers.

L’accesso alle informazioni è sempre stata una preoccupazione per i ricercatori in ambito scientifico. Dopo l'introduzione del World Wide Web, la documentazione scientifica disponibile sul Web è aumentata rapidamente. Come reazione a questa crescita di dati sul Web, i motori di ricerca sono apparsi nel panorama accademico come una soluzione di recupero proposto per Internet. Da molti anni, i ricercatori si rivolgono a Citation monitorando per trovare gli articoli più autorevoli per un determinato argomento e per vedere come spesso i loro propri articoli sono citati o utilizzati da altri autori. I motori di ricerca cercano di adattare questo concetto al dominio Web. Anche se ogni motore di ricerca ha il proprio modo di trovare le informazioni, è importante standardizzare o avere un indicatore comune per misurare la rilevanza e l'importanza dei dati trovati. I primi due tentativi popolari per un indicatore comune furono Impact Factor (IF) e h-index. Il primo misura il prestigio delle riviste mentre l'h-index cerca di misurare l'impatto della reputazione, della produttività e della citazione degli autori. Nonostante la quantità di critiche a questi due fattori, entrambi ancora resistono perché non c'è una alternativa nel prossimo futuro. Nei motori di ricerca attuali, le metriche si concentrano su autori ed articoli, ignorando il contenuto delle pubblicazioni. Questa è la ragione principale perché gli strumenti convenzionali non aiutano i ricercatori nell'identificazione di contenuti impatto per scopi di ricerca specifici. Questo studio si propone di diventare un primo approccio sistematico per definire i parametri necessari per trovare nuove alternative di misura dell'impatto basati sul contenuto. Si propone un'analisi comparativa di motori di ricerca, in cui un elenco di motori di ricerca esteso viene valutato utilizzando una serie di fattori che sono stati definiti in precedenza. Una terza analisi sarà fatta in futuro con Delphi, che sembra il processo più adatto per trovare un consenso tra i ricercatori.