Étiquette : evaluation

Using ORCID, DOI, and Other Open Identifiers in Research Evaluation

Authors : Laurel L. Haak, Alice Meadows, Josh Brown

An evaluator’s task is to connect the dots between program goals and its outcomes. This can be accomplished through surveys, research, and interviews, and is frequently performed post hoc.

Research evaluation is hampered by a lack of data that clearly connect a research program with its outcomes and, in particular, by ambiguity about who has participated in the program and what contributions they have made. Manually making these connections is very labor-intensive, and algorithmic matching introduces errors and assumptions that can distort results.

In this paper, we discuss the use of identifiers in research evaluation—for individuals, their contributions, and the organizations that sponsor them and fund their work. Global identifier systems are uniquely positioned to capture global mobility and collaboration.

By leveraging connections between local infrastructures and global information resources, evaluators can map data sources that were previously either unavailable or prohibitively labor-intensive.

We describe how identifiers, such as ORCID iDs and DOIs, are being embedded in research workflows across science, technology, engineering, arts, and mathematics; how this is affecting data availability for evaluation purposes: and provide examples of evaluations that are leveraging identifiers.

We also discuss the importance of provenance and preservation in establishing confidence in the reliability and trustworthiness of data and relationships, and in the long-term availability of metadata describing objects and their inter-relationships.

We conclude with a discussion on opportunities and risks for the use of identifiers in evaluation processes.

URL : Using ORCID, DOI, and Other Open Identifiers in Research Evaluation

DOI : https://doi.org/10.3389/frma.2018.00028

Évaluation des productions scientifiques des innovations en SHS…

Évaluation des productions scientifiques : des innovations en SHS?:

Sommaire :

  • Discours d’inauguration, F Ruggiu
  • L’évaluation de la qualité des publications en économie, C Bosquet [et al.]
  • Témoignage : le cas des revues de psychologie, J Pétard
  • RIBAC : un outil au service des acteurs de la recherche en SHS, M Dassa [et al.]
  • L’évaluation en Sciences Humaines et Sociales : Comment mesurer ce qui compte, MC Maurel
  • Le classement des revues en SHS : nouvelles perspectives européennes., G Mirdal
  • Open Access et évaluation des productions scientifiques dans l’espace européen de la recherche, C Ramjoué
  • Introduction au libre accès dans la recherche, C Kosmopoulos
  • JournalBase, Une étude comparative internationale des bases de données des revues scientifiques en sciences humaines et sociales (SHS), M Dassa [et al.]
  • Les indicateurs de la recherche en SHS, J Dubucs
  • L’évaluation scientifique en SHS : les questions méthodologiques et perspectives de solutions, G Filliatreau
  • Les SHS au prisme de l’évaluation par l’AERES, P Glaude

URL : http://journalbase.sciencesconf.org/conference/journalbase/eda_fr.pdf

Which alternative tools for bibliometrics in an research…

Which alternative tools for bibliometrics in an research institute ? :

“Nowadays, bibliometrics is a frequently used tool in scientific and technical information, it can be useful to quantify scientific production and for collective or individual evaluations. Web of Science (Thomson ISI) and impact factor calculated by JCR are the better known references. We will underline the limits and setbacks of these overused indicators, especially the bias factor h. Other alternative tools are emerging today. Our presentation will focus on comparing all these products, and we will study their interests for librarians and researchers.”

“Aujourd’hui la bibliométrie est un outil fréquemment utilisé pour quantifier la production scientifique et aussi pour les évaluations des chercheurs et des institutions. Le WoK et le JCR pour le facteur d’impact sont des outils de référence. Nous voudrions souligner les limites de ces indicateurs, nous soulignerons les biais du facteur h. D’autres outils alternatifs émergent aujourd’hui. Cette communication analysera d’autres outils qui peuvent être utilisés en bibliométrie, nous en verrons les avantages et les inconvénients pour les documentalistes et les chercheurs.”

URL : http://archivesic.ccsd.cnrs.fr/sic_00668741

Les nouvelles formes d’évaluation scientifique : quelles évolutions en sciences, technique et médecine ?

Dès 1960, l’Institute for Scientific Information (I.S.I.) de Philadelphie, sous l’impulsion d’Eugen Garfield, a mis en œuvre le Science Citation Index (S.C.I) pour l’évaluation des auteurs, suivi en 1975 par le Journal Citation Reports (J.C.R.) pour celle des revues.

Au terme d’une analyse critique de ce modèle, nous envisagerons de nouvelles approches : l’algorithme mis au point sur le site Citebase par les équipes de S.Harnad à Southampton (G.-B.) et T.Brody à Cornell (Ithaca, N.-Y.) sur le miroir britannique d’ArXiv.org. (l’un des plus importants sites mondiaux d’archives ouvertes scientifiques) Scholar Google, avatar du moteur généraliste standard lancé sur le Net en novembre 2004 deux alternatives récentes à la définition d’un facteur d’impact proposées par J.E. Hirsch (facteur h lié à la production individuelle d’un chercheur) et l’équipe de J. Bollen (Journal Status) ; donc sur les Auteurs d’une part et les Sources de l’autre le modèle du ” collectif ” Faculty of 1000 dans les domaines biomédicaux.

Son originalité par rapport aux précédents réside dans le primat de l’évaluation “humaine” qualitative sur le principe statistique de la citation. Après un essai de typologie des comités de lecture et des usages en cours dans les différentes disciplines scientifiques, on conclura sur la nécessité d’explorer rapidement la voie d’un nouvel outil d’évaluation libre d’accès, dont les règles seraient clairement définies, tant au niveau de la couverture qu’à celui des critères d’analyse qualitative et statistique.

URL : http://archivesic.ccsd.cnrs.fr/sic_00260459/fr/

L’évaluation des publications scientifiques du facteur d’impact à…

L’évaluation des publications scientifiques : du facteur d’impact à l’indice de notoriété :

“Les différentes modalités d’évaluation, “classiques” et en émergence, des publications scientifiques: les modalités traditionnelles de l’évaluation des revues : “facteur d’impact” du JCR, associé à l’évaluation individuelle du SCI (Science Citation Index)… ; mécanismes, acteurs, importance, enjeux… de l’évaluation standard de la littérature scientifique. les nouvelles modalités d’évaluation de l’impact des revues et publications : par les moteurs de recherche (Google Scholar), sur les entrepôts en Open Access (CiteBase et autres statistiques sur les archives ouvertes, revues en ligne…), les enquêtes et autres recensements disciplinaires (CNRS, Faculty of 1000) etc. ; les figures, les modalités, les enjeux, mais aussi les problèmes posés par ces nouvelles formes d’évaluation et par la généralisation de “l’indice de notoriété” comme critère dominant de l’évaluation.”

URL : http://archivesic.ccsd.cnrs.fr/sic_00083870/fr/

Réseaux de co citations et Open Access pour…

Réseaux de co-citations et Open Access : pour un renouveau des méthodes d’évaluation :

“Depuis quelques années, la méthodologie en matière d’évaluation des publications scientifiques fait l’objet d’une réflexion accrue, tant de la part des chercheurs que des professionnels de la documentation appelés à l’appliquer. Le modèle classique, en usage dans la majorité des instances administratives, émanant de l’Institute for Scientific Information de Philadelphie (ISI) révèle un certain nombre de limites notamment dues à l’absence de nuances et à des modes de calcul bruts qui semblent privilégier l’aspect comptable et quantitatif au détriment de la qualité. Les modèles alternatifs proposent l’application fine et nuancée de la méthode mathématique de la ” marche aléatoire ” (random walk) avec l’exécution itérative de l’algorithme de Lawrence Page (utilisé par Google pour le tri et l’affichage des pages Web) algorithme pondéré connu sous l’appellation Weighted PageRank. Associée à la détection des co-citations, cette méthode permet de visualiser des collèges invisibles, des affinités entre titres de périodiques et surtout la traçabilité des citations. Celle-ci est déterminante dans la définition qualitative de l’évaluation qui semble minorée dans le modèle classique.”

URL : http://archivesic.ccsd.cnrs.fr/sic_00589630/fr/

L’évaluation des publications scientifiques : nouvelles approches, nouveaux enjeux

Après avoir resitué l’évaluation dans un contexte international (notamment Shanghai) et national (programme P150 de la LOLF), l’étude porte sur une analyse critique du modèle ISI et des modèles alternatifs (Eigenfactor et dérivés du Weighted Page Rank). Elle tente de définir les conditions d’une évaluation plus qualitative en lien avec les Archives ouvertes.

URL : http://archivesic.ccsd.cnrs.fr/sic_00589641/fr/