Archives des mots-clés : Impact Factor

Deep Impact Unintended consequences of journal rank …

Statut

Deep Impact: Unintended consequences of journal rank :

“Much has been said about the increasing bureaucracy in science, stifling innovation, hampering the creativity of researchers and incentivizing misconduct, even outright fraud. Many anecdotes have been recounted, observations described and conclusions drawn about the negative impact of impact assessment on scientists and science. However, few of these accounts have drawn their conclusions from data, and those that have typically relied on a few studies. In this review, we present the most recent and pertinent data on the consequences that our current scholarly communication system has had on various measures of scientific quality (such as utility/citations, methodological soundness, expert ratings and retractions). These data confirm previous suspicions: using journal rank as an assessment tool is bad scientific practice. Moreover, the data lead us to argue that any journal rank (not only the currently-favored Impact Factor) would have this negative impact. Therefore, we suggest that abandoning journals altogether, in favor of a library-based scholarly communication system, will ultimately be necessary. This new system will use modern information technology to vastly improve the filter, sort and discovery function of the current journal system.”

URL : http://arxiv.org/abs/1301.3748

Rising Publication Delays Inflate Journal Impact Factors

Posté le par

Journal impact factors have become an important criterion to judge the quality of scientific publications over the years, influencing the evaluation of institutions and individual researchers worldwide. However, they are also subject to a number of criticisms.

Here we point out that the calculation of a journal’s impact factor is mainly based on the date of publication of its articles in print form, despite the fact that most journals now make their articles available online before that date.

We analyze 61 neuroscience journals and show that delays between online and print publication of articles increased steadily over the last decade. Importantly, such a practice varies widely among journals, as some of them have no delays, while for others this period is longer than a year.

Using a modified impact factor based on online rather than print publication dates, we demonstrate that online-to-print delays can artificially raise a journal’s impact factor, and that this inflation is greater for longer publication lags.

We also show that correcting the effect of publication delay on impact factors changes journal rankings based on this metric.

We thus suggest that indexing of articles in citation databases and calculation of citation metrics should be based on the date of an article’s online appearance, rather than on that of its publication in print.

URL : http://www.plosone.org/article/info:doi/10.1371/journal.pone.0053374

On the impact of Gold Open Access journals…

Statut

On the impact of Gold Open Access journals :

“Gold Open Access (=Open Access publishing) is for many the preferred route to achieve unrestricted and immediate access to research output. However, true Gold Open Access journals are still outnumbered by traditional journals. Moreover availability of Gold OA journals differs from discipline to discipline and often leaves scientists concerned about the impact of these existent titles. This study identified the current set of Gold Open Access journals featuring a Journal Impact Factor (JIF) by means of Ulrichsweb, Directory of Open Access Journals and Journal Citation Reports (JCR). The results were analyzed regarding disciplines, countries, quartiles of the JIF distribution in JCR and publishers. Furthermore the temporal impact evolution was studied for a Top 50 titles list (according to JIF) by means of Journal Impact Factor, SJR and SNIP in the time interval 2000–2010. The identified top Gold Open Access journals proved to be well-established and their impact is generally increasing for all the analyzed indicators. The majority of JCR-indexed OA journals can be assigned to Life Sciences and Medicine. The success-rate for JCR inclusion differs from country to country and is often inversely proportional to the number of national OA journal titles. Compiling a list of JCR-indexed OA journals is a cumbersome task that can only be achieved with non-Thomson Reuters data sources. A corresponding automated feature to produce current lists ‘‘on the fly’’ would be desirable in JCR in order to conveniently track the impact evolution of Gold OA journals.”

URL : https://uscholar.univie.ac.at/view/o:246061

The weakening relationship between the Impact Factor and papers’ citations in the digital age

Statut

Authors : George A. Lozano, Vincent Lariviere, Yves Gingras

Historically, papers have been physically bound to the journal in which they were published but in the electronic age papers are available individually, no longer tied to their respective journals. Hence, papers now can be read and cited based on their own merits, independently of the journal’s physical availability, reputation, or Impact Factor.

We compare the strength of the relationship between journals’ Impact Factors and the actual citations received by their respective papers from 1902 to 2009. Throughout most of the 20th century, papers’ citation rates were increasingly linked to their respective journals’ Impact Factors.

However, since 1990, the advent of the digital age, the strength of the relation between Impact Factors and paper citations has been decreasing. This decrease began sooner in physics, a field that was quicker to make the transition into the electronic domain.

Furthermore, since 1990, the proportion of highly cited papers coming from highly cited journals has been decreasing, and accordingly, the proportion of highly cited papers not coming from highly cited journals has also been increasing.

Should this pattern continue, it might bring an end to the use of the Impact Factor as a way to evaluate the quality of journals, papers and researchers.”

URL : http://arxiv.org/abs/1205.4328

Les nouvelles formes d’évaluation scientifique : quelles évolutions en sciences, technique et médecine ?

Posté le par

Dès 1960, l’Institute for Scientific Information (I.S.I.) de Philadelphie, sous l’impulsion d’Eugen Garfield, a mis en œuvre le Science Citation Index (S.C.I) pour l’évaluation des auteurs, suivi en 1975 par le Journal Citation Reports (J.C.R.) pour celle des revues.

Au terme d’une analyse critique de ce modèle, nous envisagerons de nouvelles approches : l’algorithme mis au point sur le site Citebase par les équipes de S.Harnad à Southampton (G.-B.) et T.Brody à Cornell (Ithaca, N.-Y.) sur le miroir britannique d’ArXiv.org. (l’un des plus importants sites mondiaux d’archives ouvertes scientifiques) Scholar Google, avatar du moteur généraliste standard lancé sur le Net en novembre 2004 deux alternatives récentes à la définition d’un facteur d’impact proposées par J.E. Hirsch (facteur h lié à la production individuelle d’un chercheur) et l’équipe de J. Bollen (Journal Status) ; donc sur les Auteurs d’une part et les Sources de l’autre le modèle du ” collectif ” Faculty of 1000 dans les domaines biomédicaux.

Son originalité par rapport aux précédents réside dans le primat de l’évaluation “humaine” qualitative sur le principe statistique de la citation. Après un essai de typologie des comités de lecture et des usages en cours dans les différentes disciplines scientifiques, on conclura sur la nécessité d’explorer rapidement la voie d’un nouvel outil d’évaluation libre d’accès, dont les règles seraient clairement définies, tant au niveau de la couverture qu’à celui des critères d’analyse qualitative et statistique.

URL : http://archivesic.ccsd.cnrs.fr/sic_00260459/fr/

L’évaluation des publications scientifiques : nouvelles approches, nouveaux enjeux

Posté le par

Après avoir resitué l’évaluation dans un contexte international (notamment Shanghai) et national (programme P150 de la LOLF), l’étude porte sur une analyse critique du modèle ISI et des modèles alternatifs (Eigenfactor et dérivés du Weighted Page Rank). Elle tente de définir les conditions d’une évaluation plus qualitative en lien avec les Archives ouvertes.

URL : http://archivesic.ccsd.cnrs.fr/sic_00589641/fr/

Le JCR facteur d’impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative

Posté le par

Auteurs/Authors : Joachim Schöpfel, Hélène Prost

Une des fonctions principales des revues scientifiques est de contribuer à l’évaluation de la recherche et des chercheurs. Depuis plus de 50 ans, le facteur d’impact (IF) de l’Institute of Scientific Information (ISI) est devenu l’indicateur dominant de la qualité d’une revue, malgré certaines faiblesses et critiques dont notamment la sur-représentation des revues anglophones. Cela est un handicap aussi bien pour les chercheurs français que pour les éditeurs francophones ; publier en français n’est pas valorisant.

Or, il existe depuis 2007 une alternative sérieuse à l’IF : le nouveau SCImago Journal Rank Indicator (SJR) qui applique l’algorithme de Google (PageRank) aux revues de la base bibliographique SCOPUS dont la couverture est plus large que celle de l’ISI.

Le but de notre étude est de comparer ces deux indicateurs par rapport aux titres français. L’objectif est de répondre à trois questions : Quelle est la couverture pour les titres français indexés par l’ISI et par SCOPUS (nombre de revues, domaines scientifiques) ? Quelles sont les différences des deux indicateurs IF et SJR par rapport aux revues françaises (classement) ? Quel est l’intérêt du SJR pour l’évaluation, en termes de représentativité des titres français ?

Les résultats de notre analyse de 368 revues françaises avec IF et/ou SJR sont plutôt encourageants pour une utilisation du nouvel indicateur SJR, du moins en complémentarité au IF :

(1) Couverture : 166 revues sont indexées par l’ISI (45 %), 345 revues par SCOPUS (94 %), 143 revues par les deux (39 %). 82% des revues sont issus des domaines STM, 18% des domaines SHS. La couverture de SCOPUS est meilleure surtout en médecine et pharmacologie.

(2) Classement : Pour les titres avec IF et SJR, la corrélation entre les deux indicateurs est significative (0,76). En termes de classement (ranking), l’IF différencie mieux les revues que le SJR (155 vs. 89 rangs). En revanche, du fait de la couverture plus exhaustive de SCOPUS, le SJR rend visible au niveau international davantage de titres.

(3) Représentativité : L’intérêt de SCOPUS et du SJR réside dans la couverture plus représentative de l’édition française (19% vs 9% pour ISI/IF), notamment en STM (38% vs 19 %), beaucoup moins en SHS (6% vs 2 %). Sont indexés surtout les titres de quelques grands éditeurs français ou internationaux ; la plupart des éditeurs français (80 %–90 %) n’ont aucun titre dans le JCR et/ou SCOPUS, même si de nouveau SCOPUS est plus représentatif (avec 17% des éditeurs vs 10% pour le JCR).

Les problèmes méthodologiques et les perspectives pour une évaluation multidimensionnelle sont discutés. L’étude compare le IF et le SJR par rapport aux 368 titres français avec IF et/ou SJR. Les résultats : La couverture du SJR est plus large que celle de l’IF (94% vs 45%) et meilleure surtout dans les sciences médicales. Pour les titres avec IF et SJR, la corrélation entre les deux indicateurs est significative (0,76). En termes de classement (ranking), l’IF différencie mieux les revues que le SJR (155 vs 89 rangs). L’intérêt du SJR réside dans la couverture plus représentative de l’édition française (19% vs 9% avec IF), notamment en STM (38% vs 19 %), moins en SHS (6% vs 2 %).

URL : http://archivesic.ccsd.cnrs.fr/sic_00567847/fr/