A scientists’ view of scientometrics: Not everything that counts can be counted

Authors : Ralph Kenna, Olesya Mryglod, Bertrand Berche

Like it or not, attempts to evaluate and monitor the quality of academic research have become increasingly prevalent worldwide. Performance reviews range from at the level of individuals, through research groups and departments, to entire universities.

Many of these are informed by, or functions of, simple scientometric indicators and the results of such exercises impact onto careers, funding and prestige. However, there is sometimes a failure to appreciate that scientometrics are, at best, very blunt instruments and their incorrect usage can be misleading.

Rather than accepting the rise and fall of individuals and institutions on the basis of such imprecise measures, calls have been made for indicators be regularly scrutinised and for improvements to the evidence base in this area.

It is thus incumbent upon the scientific community, especially the physics, complexity-science and scientometrics communities, to scrutinise metric indicators. Here, we review recent attempts to do this and show that some metrics in widespread use cannot be used as reliable indicators research quality.

URL : https://arxiv.org/abs/1703.10407

Interroger le texte scientifique

Auteur/Author : Guillaume Cabanac

Les documents textuels sont des vecteurs d’information familiers et incontournables de notre société de l’information. Avec l’essor des plateformes numériques et des médias sociaux, le texte se décline désormais en pages web, billets de blogs, commentaires, tweets et tags, entre autres. Auparavant consommateurs passifs, les lecteurs se muent à leur tour en producteurs de contenus.

En résultent des échanges interpersonnels qui tissent des réseaux sociaux numériques s’étendant bien au-delà de nos cercles relationnels. Dans ce contexte, nature et format des textes, intentions de leurs auteurs (informer, rediffuser, critiquer, compléter, corriger, etc.), contexte spatio-temporel ainsi que véracité et fraîcheur variables des informations sont autant de subtilités à intégrer dans les modèles de recherche d’information.

La première partie de ce mémoire présente une synthèse de résultats en recherche d’information visant à modéliser ces facteurs pour améliorer la pertinence des recherches sur des corpus textuels, notamment issus de médias sociaux.

Le programme de recherche que je développe vise également à « interroger le texte » pour révéler des informations au sujet de son contenu, de ses auteurs et de ses lecteurs. Le texte scientifique a été choisi comme cible pour la richesse de son contenu et de ses méta- données. Ainsi, la deuxième partie du mémoire synthétise des résultats en scientométrie, terme désignant l’étude quantitative des sciences et de l’innovation.

Il s’est agi de questionner des textes scientifiques et les réseaux sous-jacents (lexique, références, auteurs, institutions, etc.) pour faire émerger des connaissances à forte valeur ajoutée et apporter un éclairage sur la création et la diffusion des savoirs scientifiques.

Les deux volets articulés dans ce mémoire concourent à définir un programme de recherche interdisciplinaire à la croisée de l’informatique, la scientométrie et la sociologie des sciences.

Son ambition consiste à interroger le texte scientifique pour en améliorer l’accès (via la recherche d’information) tout en contribuant à éliciter les ressorts de la genèse et de l’évolution des mondes sociaux et des savoirs en sciences (via la scientométrie).

URL : Interroger le texte scientifique

Alternative location : https://tel.archives-ouvertes.fr/tel-01413878/

A Review of Theory and Practice in Scientometrics

« Scientometrics is the study of the quantitative aspects of the process of science as a communication system. It is centrally, but not only, concerned with the analysis of citations in the academic literature. In recent years it has come to play a major role in the measurement and evaluation of research performance. In this review we consider: the historical development of scientometrics, sources of citation data, citation metrics and the « laws » of scientometrics, normalisation, journal impact factors and other journal metrics, visualising and mapping science, evaluation and policy, and future developments. »

URL : http://arxiv.org/abs/1501.05462

Open Access: pour une meilleure visibilité de la production scientifique médicale au Maroc

« Les bases de données internationales de l’Institute for Scientific Information (ISI) sont des outils incontournables mais incomplets pour évaluer la performance de la recherche et fournir des indicateurs statistiques sur le volume de la production scientifique d’un pays. Dans ce contexte, nous présenterons les résultats d’une étude bibliométrique de la production scientifique issue de la Faculté de Médecine et de Pharmacie-Casablanca. Nous mettrons l’accent sur les possibilités offertes par l’open access (la voie verte et la voie dorée) pour augmenter la visibilité de la production locale. »

URL : http://eprints.rclis.org/24187/

Scientometric Mapping of Remote Sensing Research Output A…

Scientometric Mapping of Remote Sensing Research Output: A Global Perspective :

« This paper presents a quantitative analysis of remote sensing, in terms of research out put throughout the world during 1975 – FEB 2010. During that period, 1188 papers have been published and the cited references have been 30654. The average number of publications published per year has been 38.07. The highest number of paper (119) was published in the year of 2009. The USA topped the list with 473 (39.8%) publications, followed by UK with 128 (10.8%) publications, India with 93 (7.8%) publications respectively. The highly productive authors are Kaufman YJ with 13 (1.1%) publications, followed by Wagner W with 10 (0.8%) publications. There were 1082 institutions involved in the research with NASA which topped the list with 112 (9.4%), followed by NOAA with 48 (4%) publications. The most preferred journal is IEEE Transaction on Geoscience and Remote Sensing with 103 papers, followed by International journal of Remote Sensing with 95 papers, Acta Astronautica with 64 papers. The most preferred language by scientist is English with 1170 (98.5%) publications. »

URL : http://digitalcommons.unl.edu/libphilprac/801/

Tracing scientists’ research trends realtimely

In this research, we propose a method to trace scientists’ research trends realtimely. By monitoring the downloads of scientific articles in the journal of Scientometrics for 744 hours, namely one month, we investigate the download statistics.

Then we aggregate the keywords in these downloaded research papers, and analyze the trends of article downloading and keyword downloading. Furthermore, taking both the download of keywords and publication of articles into consideration, we design a method to detect the emerging research trends.

We find that in scientometrics field, social media, new indices to quantify scientific productivity (g-index), webometrics, semantic, text mining, open access are emerging fields that information scientists are focusing on. »

URL : http://arxiv.org/abs/1208.1349

Le classement de Leiden environnement scientifique et configuration…

Le classement de Leiden: environnement scientifique et configuration :

« Le classement de Leiden s’impose aujourd’hui comme une alternative pertinente et valable vis-à-vis de celui de Shanghai. De nombreux indicateurs font intervenir les caractéristiques propres aux champs disciplinaires et des calculs fondés sur le principe de distribution. Il est conçu par le centre CWTS de l’université néerlandaise de Leiden. »

« The Leiden Ranking is considered today as quite a pertinent and valuable alternative vs. the Shanghai Ranking. A significant number of indicators involve for instance Fields Citation Scores and data distribution. It is conceived by the CWTS of the University of Leiden – The Netherlands. »

URL : http://archivesic.ccsd.cnrs.fr/sic_00696098