Altmetrics and Grey Literature: Perspectives and Challenges

Authors : Joachim Schöpfel, Hélène Prost

Traditional metrics largely overlook grey literature. The new altmetrics introduced in 2010 as  » new, online scholarly tools (that allow) to make new filters  » (Altmetrics Manifesto), can include all kinds of scholarly output which makes them interesting for grey literature.

The topic of our paper is the connection between altmetrics and grey literature. Do altmetrics offer new opportunities for the development and impact of grey literature?

In particular, the paper explores how altmetrics could add value to grey literature, in particular how reference managers, repositories, academic search engines and social networks can produce altmetrics of dissertations, reports, conference papers etc.

We explore, too, how new altmetric tools incorporate grey literature as source for impact assessment, and if they do. The discussion analyses the potential but also the limits of the actual application of altmetrics to grey literatures and highlights the importance of unique identifiers, above all the DOI.

For the moment, grey literature missed the opportunity to get on board of the new movement.

However, getting grey literature into the heart of the coming mainstream adoption of altmetrics is not only essential for the future of grey literature in open science but also for academic and institutional control of research output and societal impact.This can be a special mission for academic librarians.


Relationships between Consumption, Publication and Impact in French Universities in a value perspective: A Bibliometric Analysis

Authors : Chérifa Boukacem-Zeghmouri, Pascal Bador, Thierry Lafouge, Hélène Prost

The study aims to investigate the relationships between consumption of e-journals distributed by Elsevier ScienceDirect platform, publication (articles) and impact (citations) in a sample of 13 French universities, from 2003 to 2009.

It adopts a value perspective as it questions whether or not publication activity and impact are some kind of return led by consumption. A bibliometric approach was used to explore the relations between these three variables.

The analysis developed indicators inspired by the mathematical h-Index technique. Results show that the relation between consumption, publication and citations depends on the discipline’s profile, the intensity of research and the size of each institution.

Moreover, although relations have been observed between the three variables, it is not possible to determine which variable comes first to explain the phenomena. The study concludes by showing strong correlations, which nevertheless do not lead to clear causal relations.

The article provide practical implication for academic library managers who want to show the added value of their electronic e-journals collections can replicate the study approach. Also for policy makers who want to take into account e-journals usage as an informative tool to predict the importance of publication activity.

Originality: The study is the first French contribution to e-journal value studies. Its originality consists in developing a value viewpoint that relies on a bibliometric approach.


Research data management in social sciences and humanities: A survey at the University of Lille (France)

Authors : Joachim Schöpfel, Hélène Prost

The paper presents results from a campus-wide survey at the University of Lille (France) on research data management in social sciences and humanities.

The survey received 270 responses, equivalent to 15% of the whole sample of scientists, scholars, PhD students, administrative and technical staff (research management, technical support services); all disciplines were represented.

The responses show a wide variety of practice and usage. The results are discussed regarding job status and disciplines and compared to other surveys. Four groups can be distinguished, i.e. pioneers (20-25%), motivated (25-30%), unaware (30%) and reluctant (5-10%).

Finally, the next steps to improve the research data management on the campus are presented.

URL : Research data management in social sciences and humanities: A survey at the University of Lille (France)

Alternative location :

Research Data in Current Research Information Systems

Authors : Joachim Schöpfel, Hélène Prost,Violaine Rebouillat

The paper provides an overview of recent research and publications on the integration of research data in Current Research Information Systems (CRIS) and addresses three related issues, i.e. the object of evaluation, identifier schemes and conservation.

Our focus is on social sciences and humanities. As research data gradually become a crucial topic of scientific communication and evaluation, current research information systems must be able to consider and manage the great variety and granularity levels of data as sources and results of scientific research.

More empirical and moreover conceptual work is needed to increase our understanding of the reality of research data and the way they can and should be used for the needs and objectives of research evaluation.

The paper contributes to the debate on the evaluation of research data, especially in the environment of open science and open data, and will be helpful in implementing CRIS and research data policies.


Le JCR facteur d’impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative

Auteurs/Authors : Joachim Schöpfel, Hélène Prost

Une des fonctions principales des revues scientifiques est de contribuer à l’évaluation de la recherche et des chercheurs. Depuis plus de 50 ans, le facteur d’impact (IF) de l’Institute of Scientific Information (ISI) est devenu l’indicateur dominant de la qualité d’une revue, malgré certaines faiblesses et critiques dont notamment la sur-représentation des revues anglophones. Cela est un handicap aussi bien pour les chercheurs français que pour les éditeurs francophones ; publier en français n’est pas valorisant.

Or, il existe depuis 2007 une alternative sérieuse à l’IF : le nouveau SCImago Journal Rank Indicator (SJR) qui applique l’algorithme de Google (PageRank) aux revues de la base bibliographique SCOPUS dont la couverture est plus large que celle de l’ISI.

Le but de notre étude est de comparer ces deux indicateurs par rapport aux titres français. L’objectif est de répondre à trois questions : Quelle est la couverture pour les titres français indexés par l’ISI et par SCOPUS (nombre de revues, domaines scientifiques) ? Quelles sont les différences des deux indicateurs IF et SJR par rapport aux revues françaises (classement) ? Quel est l’intérêt du SJR pour l’évaluation, en termes de représentativité des titres français ?

Les résultats de notre analyse de 368 revues françaises avec IF et/ou SJR sont plutôt encourageants pour une utilisation du nouvel indicateur SJR, du moins en complémentarité au IF :

(1) Couverture : 166 revues sont indexées par l’ISI (45 %), 345 revues par SCOPUS (94 %), 143 revues par les deux (39 %). 82% des revues sont issus des domaines STM, 18% des domaines SHS. La couverture de SCOPUS est meilleure surtout en médecine et pharmacologie.

(2) Classement : Pour les titres avec IF et SJR, la corrélation entre les deux indicateurs est significative (0,76). En termes de classement (ranking), l’IF différencie mieux les revues que le SJR (155 vs. 89 rangs). En revanche, du fait de la couverture plus exhaustive de SCOPUS, le SJR rend visible au niveau international davantage de titres.

(3) Représentativité : L’intérêt de SCOPUS et du SJR réside dans la couverture plus représentative de l’édition française (19% vs 9% pour ISI/IF), notamment en STM (38% vs 19 %), beaucoup moins en SHS (6% vs 2 %). Sont indexés surtout les titres de quelques grands éditeurs français ou internationaux ; la plupart des éditeurs français (80 %–90 %) n’ont aucun titre dans le JCR et/ou SCOPUS, même si de nouveau SCOPUS est plus représentatif (avec 17% des éditeurs vs 10% pour le JCR).

Les problèmes méthodologiques et les perspectives pour une évaluation multidimensionnelle sont discutés. L’étude compare le IF et le SJR par rapport aux 368 titres français avec IF et/ou SJR. Les résultats : La couverture du SJR est plus large que celle de l’IF (94% vs 45%) et meilleure surtout dans les sciences médicales. Pour les titres avec IF et SJR, la corrélation entre les deux indicateurs est significative (0,76). En termes de classement (ranking), l’IF différencie mieux les revues que le SJR (155 vs 89 rangs). L’intérêt du SJR réside dans la couverture plus représentative de l’édition française (19% vs 9% avec IF), notamment en STM (38% vs 19 %), moins en SHS (6% vs 2 %).