Altmetrics in Library and Information Science: coverage of sources and use of social media by authors

Abstract

Altmetrics is a movement that aims to capture new and previously invisible types of impact of scholarly publications on social web platforms such as news sites, Wikipedia, blogs, microblogs, social bookmarking tools and online reference managers. This thesis aimtries to explore the suitability and reliability of two altmetrics resources: Mendeley, a social reference manager website, and Wikipedia, a free online encyclopedia, written collaboratively by the people who use it. At present, Wikipedia is the largest online encyclopedia. The main objectives of this thesis are to explore the use of reference management software and Wikipedia to estimate the readership of academic literature and to compare the evolution in the coverage of LIS literature by altmetric sources and by citation indexes. To reach these objectives, three different studies were designed. The general method to achive toobtain the initial data set was to search is that we used the Social Sciences Citation Index to retrieve articles and reviews published and indexed in the category “Information Science & Library Science”. Each record was then searched in Mendeley to obtain the number of bookmarks of the paper and the academic status of the users. Additonally, we performed a fifteen-month longitudinal study of the evolution of bookmarks in Mendeley. Afterwards, we searched for each of these articles in Wikipedia, and retrieved all the entries in which they were cited. The Results results of these studies show that the correlation between bookmarks and citations was moderate and the overlap between the most frequently bookmarked and the most frequently cited papers increased over time. A significant share of the bookmarks were made by students and professionals, although the shares of bookmarks made by different categories of users changed as time went by. Reviews were bookmarked more frequently than articles, and papers in English had more bookmarks than papers in any other language. Also results reveal severe limitations in the use of Wikipedia citations for research evaluation. Lack of standardization and incompleteness of Wikipedia references make it difficult to retrieve them. The number of Wikipedia citations is very low, A significant number of references are cited in biographical entries about the authors of the articles, resulting in a phenomenon of accumulated advantage. Nearly one-third of the Wikipedia citations link to an open access source, although this result is probably an underestimate of open access availability, given the incompleteness of Wikipedia citations.

Altmetrics es un movimiento que tiene como objetivo capturar nuevos tipos de impacto, antes invisibles, de las publicaciones académicas en las plataformas de la web social, tales como sitios de noticias, Wikiped ia, blogs, microblogs, herramientas de marcadores sociales y gestores de referencias en línea. Esta tesis pretende explorar la pertinencia y fiabilidad de dos recursos altmétricos: Mendeley, un sitio web de gestión de referencia social, y Wikipedia, una enciclopedia online gratuita escrita en colaboración por las personas que la utilizan. Actualmente, Wikipedia es la mayor enciclopedia en línea. Los principales objetivos de esta tesis son investigar el uso del software de gestión de referencia y de Wikipedia para estimar el número de lectores de literatura académica y comparar la evolución en la cobertura de la literatura de Ciencias de la Información y Biblioteconomía (Library and Information Science, por sus siglas en inglés), según fuentes altmétricas y por índices de citas. Para alcanzar estos objetivos, se diseñaron tres estudios diferentes. El método general para acceder al conjunto de datos consistía en utilizar el Social Sciences Citation Index para recuperar revisiones y artículos publicados e indexados en la categoría «Information Science & Library Science». Se buscó cada registro en Mendeley para obtener el número de marcadores del documento y el estatus académico de los usuarios. De manera adicional, realizamos un estudio longitudinal durante quince meses para estudiar la evoluci ón en el número de marcadores. Posteriormente, buscamos cada uno de estos artículos en Wikipedia y recuperamos todas las entradas en las que fueron citados. Los resultados de estos estudios muestran que la correlación entre los marcadores y las citas era moderada y la coincidencia entre los documentos guardados en marcadores con más frecuencia y los más citados aumentó con el tiempo. Una parte significativa de los marcadores los habían hecho estudiantes y profesionales, aunque el número de marcadores hechos por diferentes categorías de usuarios cambiaron con el paso del tiempo. Las revisiones se guardaban en marcadores con más frecuencia que los artículos, y los documentos en inglés tenían más marcadores que los documentos en cualquier otro idioma. Los resultados también revelan severas limitaciones en el uso de citas de Wikipedia para la evaluación de investigación. La falta de estandarización y el carácter incompleto de las referencias de Wikipedia dificultan su recuperación. El número de citas de Wikipedia es muy bajo, y un número significativo de referencias se citan en las entradas biográficas dedicadas a los autores de los artículos, lo que supone una ventaja acumulada. Cerca de un tercio de las citas de Wikipedia se vinculan a una fuente de acceso abierto, aunque probablemente este resultado sea una subestimación de la disponibilidad de acceso a estas fuentes, dado que las citas de Wikipedia están incompletas.