Google Scholar Metrics an unreliable tool for assessing…

Google Scholar Metrics: an unreliable tool for assessing scientific journals :

“We introduce Google Scholar Metrics (GSM), a new bibliometric product of Google that aims at providing the H-index for scientific journals and other information sources. We conduct a critical review of GSM showing its main characteristics and possibilities as a tool for scientific evaluation. We discuss its coverage along with the inclusion of repositories, bibliographic control, and its options for browsing and searching. We conclude that, despite Google Scholar’s value as a source for scien- tific assessment, GSM is an immature product with many shortcomings, and therefore we advise against its use for evalu- ation purposes. However, the improvement of these shortcomings would place GSM as a serious competitor to the other existing products for evaluating scientific journals.”

URL : http://digibug.ugr.es/handle/10481/21540

Author Co Citation Analysis ACA a powerful tool…

Author Co-Citation Analysis (ACA): a powerful tool for representing implicit knowledge of scholar knowledge workers :

“In the last decade, knowledge has emerged as one of the most important and valuable organizational assets. Gradually this importance caused to emergence of new discipline entitled ―knowledge management‖. However one of the major challenges of knowledge management is conversion implicit or tacit knowledge to explicit knowledge. Thus Making knowledge visible so that it can be better accessed, discussed, valued or generally managed is a long-standing objective in knowledge management. Accordingly in this paper author co- citation analysis (ACA) will be proposed as an efficient technique of knowledge visualization in academia (Scholar knowledge workers).”

URL : http://eprints.rclis.org/handle/10760/15501

Open access readership citations a randomized controlled trial…

Open access, readership, citations: a randomized controlled trial of scientific journal publishing :

“Does free access to journal articles result in greater diffusion of scientific knowledge? Using a randomized controlled trial of open access publishing, involving 36 participating journals in the sciences, social sciences, and humanities, we report on the effects of free access on article downloads and citations. Articles placed in the open access condition (n=712) received significantly more downloads and reached a broader audience within the first year, yet were cited no more frequently, nor earlier, than subscription-access control articles (n=2533) within 3 yr. These results may be explained by social stratification, a process that concentrates scientific authors at a small number of elite research universities with excellent access to the scientific literature. The real beneficiaries of open access publishing may not be the research community but communities of practice that consume, but rarely contribute to, the corpus of literature.—Davis, P. M. Open access, readership, citations: a randomized controlled trial of scientific journal publishing.”

URL : http://www.fasebj.org/content/early/2011/03/29/fj.11-183988.abstract

Le JCR facteur d’impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative

Auteurs/Authors : Joachim Schöpfel, Hélène Prost

Une des fonctions principales des revues scientifiques est de contribuer à l’évaluation de la recherche et des chercheurs. Depuis plus de 50 ans, le facteur d’impact (IF) de l’Institute of Scientific Information (ISI) est devenu l’indicateur dominant de la qualité d’une revue, malgré certaines faiblesses et critiques dont notamment la sur-représentation des revues anglophones. Cela est un handicap aussi bien pour les chercheurs français que pour les éditeurs francophones ; publier en français n’est pas valorisant.

Or, il existe depuis 2007 une alternative sérieuse à l’IF : le nouveau SCImago Journal Rank Indicator (SJR) qui applique l’algorithme de Google (PageRank) aux revues de la base bibliographique SCOPUS dont la couverture est plus large que celle de l’ISI.

Le but de notre étude est de comparer ces deux indicateurs par rapport aux titres français. L’objectif est de répondre à trois questions : Quelle est la couverture pour les titres français indexés par l’ISI et par SCOPUS (nombre de revues, domaines scientifiques) ? Quelles sont les différences des deux indicateurs IF et SJR par rapport aux revues françaises (classement) ? Quel est l’intérêt du SJR pour l’évaluation, en termes de représentativité des titres français ?

Les résultats de notre analyse de 368 revues françaises avec IF et/ou SJR sont plutôt encourageants pour une utilisation du nouvel indicateur SJR, du moins en complémentarité au IF :

(1) Couverture : 166 revues sont indexées par l’ISI (45 %), 345 revues par SCOPUS (94 %), 143 revues par les deux (39 %). 82% des revues sont issus des domaines STM, 18% des domaines SHS. La couverture de SCOPUS est meilleure surtout en médecine et pharmacologie.

(2) Classement : Pour les titres avec IF et SJR, la corrélation entre les deux indicateurs est significative (0,76). En termes de classement (ranking), l’IF différencie mieux les revues que le SJR (155 vs. 89 rangs). En revanche, du fait de la couverture plus exhaustive de SCOPUS, le SJR rend visible au niveau international davantage de titres.

(3) Représentativité : L’intérêt de SCOPUS et du SJR réside dans la couverture plus représentative de l’édition française (19% vs 9% pour ISI/IF), notamment en STM (38% vs 19 %), beaucoup moins en SHS (6% vs 2 %). Sont indexés surtout les titres de quelques grands éditeurs français ou internationaux ; la plupart des éditeurs français (80 %–90 %) n’ont aucun titre dans le JCR et/ou SCOPUS, même si de nouveau SCOPUS est plus représentatif (avec 17% des éditeurs vs 10% pour le JCR).

Les problèmes méthodologiques et les perspectives pour une évaluation multidimensionnelle sont discutés. L’étude compare le IF et le SJR par rapport aux 368 titres français avec IF et/ou SJR. Les résultats : La couverture du SJR est plus large que celle de l’IF (94% vs 45%) et meilleure surtout dans les sciences médicales. Pour les titres avec IF et SJR, la corrélation entre les deux indicateurs est significative (0,76). En termes de classement (ranking), l’IF différencie mieux les revues que le SJR (155 vs 89 rangs). L’intérêt du SJR réside dans la couverture plus représentative de l’édition française (19% vs 9% avec IF), notamment en STM (38% vs 19 %), moins en SHS (6% vs 2 %).

URL : http://archivesic.ccsd.cnrs.fr/sic_00567847/fr/

The Anatomy of an Electronic Discussion …

The Anatomy of an Electronic Discussion List for Librarians, KUTUP-L: Bibliometric and Content Analyses of Postings :

“Electronic discussion lists are widely used as a professional and scientific communication tool since late 1980s. Analysis of messages sent to discussion lists provides useful information on professional as well as scientific communication patterns. In this paper, we present the findings of a bibliometric analysis of some 20,000 messages sent to KUTUP‐L, an electronic discussion list for Turkish librarians, between 1994 and 2008. We test if the distributions of messages and their authors conform to Pareto, Price and Lotka laws. We then analyze the contents of 977 messages based on a stratified sample. Findings indicate that the number of messages sent to KUTUP‐L has increased over the years along with the number of authors. Two thirds (1,232) of about 1,900 list members posted at least one message to the list while the rest preferred to be so called “lurkers”. Some 35 authors posted almost half (49%) the messages while 20% of the authors posted 83% of all messages. The distribution of messages to authors conform to Price (“the square root of all authors would post half the messages”) and Pareto laws (so called “80/20 rule”), respectively. Of the 1,232 authors, one third (as opposed to 60% predicted by Lotka’s Law) sent only one message to the list. Results of content analysis show that 40% of messages sent to the list were off‐topic. Issues about or related with information management services (32%), library and information science (23%) and professional and scientific communication (19%) were discussed more often in the list. The intent analysis of the postings shows that three quarters of the messages were initiatory while the rest were reflexive. That’s to say that the majority of messages posted on KUTUP‐L to initiate a discussion did not seem to generate enough interest for others to reflect upon them by sending follow up messages, suggesting that professional and scientific communication taking place on KUTUP‐L on certain subjects can be characterized as more of a one‐way communication than a participatory one.”

URL : http://eprints.rclis.org/18727/