Archives des mots-clés : scientific practices

Preprints and Scholarly Communication: An Exploratory Qualitative Study of Adoption, Practices, Drivers and Barriers

Posté le par

Authors : Andrea Chiarelli, Rob Johnson, Stephen Pinfield, Emma Richens

Background

Since 2013, there has been a dramatic increase in the number of preprint servers. Little is known about the position of researchers, funders, research performing organisations and other stakeholders with respect to this fast-paced landscape.

In this article, we explore the perceived benefits and challenges of preprint posting, alongside issues including infrastructure and financial sustainability. We also discuss the definition of a ‘preprint’ in different communities, and the impact this has on uptake.

Methods

This study is based on 38 semi-structured interviews of key stakeholders, based on a purposive heterogeneous sampling approach and undertaken between October 2018 and January 2019.

Interviewees were primarily drawn from biology, chemistry and psychology, where use of preprints is growing. Interviews were recorded, transcribed and subjected to thematic analysis to identify trends. Interview questions were designed based on Innovation Diffusion Theory, which was also used to interpret our results.

Results

Participants were conscious of the rising prominence of preprints and cited early and fast dissemination as their most appealing feature. Preprints were also considered to enable broader access to scientific literature and increased opportunities for informal commenting.

The main concerns related to the lack of quality assurance and the ‘Ingelfinger rule’. We identified trust as an essential factor in preprint posting, and highlight the enabling role of Twitter in showcasing preprints.

Conclusions

The preprints landscape is evolving fast, and disciplinary communities are at different stages in the innovation diffusion process. The landscape is characterised by experimentation, which leads to the conclusion that a one-size-fits-all approach to preprints is not feasible.

Cooperation and active engagement between the stakeholders involved will play an important role going forward. We share questions for the further development of the preprints landscape, with the most important being whether preprint posting will develop as a publisher- or researcher-centric practice.

URL : Preprints and Scholarly Communication: An Exploratory Qualitative Study of Adoption, Practices, Drivers and Barriers

DOI : https://doi.org/10.12688/f1000research.19619.2

Autoréflexivité scientifique : mise en place de conditions productivistes dans la pratique de la publication scientifique

Posté le par

Auteur/Author : Alma Liliana Díaz-Martínez

Cet article analyse le rôle des publications dans un contexte marqué par la logique productiviste du système d’évaluation de la recherche scientifique au Mexique.

Il aborde la notion d’autoréflexivité critique à partir du concept de rationalité communicationnelle d’Habermas et étudie un corpus composé de chercheurs en sciences sociales membres du Système national de chercheurs (SNI) de l’Université nationale autonome du Mexique (Unam), en utilisant l’analyse du discours dans une perspective herméneutique.

Si les résultats confirment l’existence d’une autoréflexion critique de la part des chercheurs vis-à-vis de l’exigence institutionnelle de publication, ils montrent également à quel point cette norme a été intériorisée comme partie intégrante de la pratique scientifique.

URL : https://lesenjeux.univ-grenoble-alpes.fr/2019/dossier/06-autoreflexivite-scientifique-mise-en-place-de-conditions-productivistes-dans-la-pratique-de-la-publication-scientifique

How Many Papers Should Scientists Be Reviewing? An Analysis Using Verified Peer Review Reports

Posté le par

Authors : Vincent Raoult

The current peer review system is under stress from ever increasing numbers of publications, the proliferation of open-access journals and an apparent difficulty in obtaining high-quality reviews in due time. At its core, this issue may be caused by scientists insufficiently prioritising reviewing.

Perhaps this low prioritisation is due to a lack of understanding on how many reviews need to be conducted by researchers to balance the peer review process. I obtained verified peer review data from 142 journals across 12 research fields, for a total of over 300,000 reviews and over 100,000 publications, to determine an estimate of the numbers of reviews required per publication per field.

I then used this value in relation to the mean numbers of authors per publication per field to highlight a ‘review ratio’: the expected minimum number of publications an author in their field should review to balance their input (publications) into the peer review process.

On average, 3.49 ± 1.45 (SD) reviews were required for each scientific publication, and the estimated review ratio across all fields was 0.74 ± 0.46 (SD) reviews per paper published per author. Since these are conservative estimates, I recommend scientists aim to conduct at least one review per publication they produce. This should ensure that the peer review system continues to function as intended.

URL : How Many Papers Should Scientists Be Reviewing? An Analysis Using Verified Peer Review Reports

DOI : https://doi.org/10.3390/publications8010004

Ouverture des données de la recherche : de la vision politique aux pratiques des chercheurs

Posté le par

Auteur/Author : Violaine Rebouillat

Cette thèse s’intéresse aux données de la recherche, dans un contexte d’incitation croissante à leur ouverture. Les données de la recherche sont des informations collectées par les scientifiques dans la perspective d’être utilisées comme preuves d’une théorie scientifique.

Il s’agit d’une notion complexe à définir, car contextuelle. Depuis les années 2000, le libre accès aux données occupe une place de plus en plus stratégique dans les politiques de recherche. Ces enjeux ont été relayés par des professions intermédiaires, qui ont développé des services dédiés, destinés à accompagner les chercheurs dans l’application des recommandations de gestion et d’ouverture.

La thèse interroge le lien entre idéologie de l’ouverture et pratiques de recherche. Quelles formes de gestion et de partage des données existent dans les communautés de recherche et par quoi sont-elles motivées ? Quelle place les chercheurs accordent-ils à l’offre de services issue des politiques de gestion et d’ouverture des données ?

Pour tenter d’y répondre, 57 entretiens ont été réalisés avec des chercheurs de l’Université de Strasbourg dans différentes disciplines. L’enquête révèle une très grande variété de pratiques de gestion et de partage de données. Un des points mis en évidence est que, dans la logique scientifique, le partage des données répond un besoin.

Il fait partie intégrante de la stratégie du chercheur, dont l’objectif est avant tout de préserver ses intérêts professionnels. Les données s’inscrivent donc dans un cycle de crédibilité, qui leur confère à la fois une valeur d’usage (pour la production de nouvelles publications) et une valeur d’échange (en tant que monnaie d’échange dans le cadre de collaborations avec des partenaires).

L’enquête montre également que les services développés dans un contexte d’ouverture des données correspondent pour une faible partie à ceux qu’utilisent les chercheurs.

L’une des hypothèses émises est que l’offre de services arrive trop tôt pour rencontrer les besoins des chercheurs. L’évaluation et la reconnaissance des activités scientifiques étant principalement fondées sur la publication d’articles et d’ouvrages, la gestion et l’ouverture des données ne sont pas considérées comme prioritaires par les chercheurs.

La seconde hypothèse avancée est que les services d’ouverture des données sont proposés par des acteurs relativement éloignés des communautés de recherche. Les chercheurs sont davantage influencés par des réseaux spécifiques à leurs champs de recherche (revues, infrastructures…).

Ces résultats invitent finalement à reconsidérer la question de la médiation dans l’ouverture des données scientifiques.

URL : https://tel.archives-ouvertes.fr/tel-02447653

Les données scientifiques face aux enjeux de la recherche en Sciences, Technologie et Médecine : enquête exploratoire à l’Université de Strasbourg

Posté le par

Auteur/Author : Violaine Rebouillat

Nous étudions la place des données scientifiques dans les pratiques de recherche à travers l’analyse de six projets du domaine des Sciences, Technologie, Médecine.

Il s’agit de questionner l’influence des stratégies de recherche sur la gestion et l’ouverture des données. Nous décrivons le rôle joué par la quête de reconnaissance par les pairs dans la recherche fondamentale et appliquée.

Nous montrons que les projets de recherche fondamentale tendent à suivre une logique, selon laquelle la publication d’articles dicte les priorités, tandis que les projets de recherche appliquée consacrent une attention plus grande aux données, en raison des enjeux économiques sous-jacents.

URL : https://hal-cnam.archives-ouvertes.fr/hal-02321077

A study of the impact of data sharing on article citations using journal policies as a natural experiment

Posté le par

Authors : Garret Christensen, Allan Dafoe, Edward Miguel, Don A. Moore, Andrew K. Rose

This study estimates the effect of data sharing on the citations of academic articles, using journal policies as a natural experiment. We begin by examining 17 high-impact journals that have adopted the requirement that data from published articles be publicly posted.

We match these 17 journals to 13 journals without policy changes and find that empirical articles published just before their change in editorial policy have citation rates with no statistically significant difference from those published shortly after the shift.

We then ask whether this null result stems from poor compliance with data sharing policies, and use the data sharing policy changes as instrumental variables to examine more closely two leading journals in economics and political science with relatively strong enforcement of new data policies.

We find that articles that make their data available receive 97 additional citations (estimate standard error of 34).

We conclude that: a) authors who share data may be rewarded eventually with additional scholarly citations, and b) data-posting policies alone do not increase the impact of articles published in a journal unless those policies are enforced.

URL : A study of the impact of data sharing on article citations using journal policies as a natural experiment

DOI : https://doi.org/10.1371/journal.pone.0225883

Transparent, Reproducible, and Open Science Practices of Published Literature in Dermatology Journals: Cross-Sectional Analysis

Posté le par

Authors : J Michael Anderson, Andrew Niemann, Austin L Johnson, Courtney Cook, Daniel Tritz, Matt Vassar

Background

Reproducible research is a foundational component for scientific advancements, yet little is known regarding the extent of reproducible research within the dermatology literature.

Objective

This study aimed to determine the quality and transparency of the literature in dermatology journals by evaluating for the presence of 8 indicators of reproducible and transparent research practices.

Methods

By implementing a cross-sectional study design, we conducted an advanced search of publications in dermatology journals from the National Library of Medicine catalog. Our search included articles published between January 1, 2014, and December 31, 2018.

After generating a list of eligible dermatology publications, we then searched for full text PDF versions by using Open Access Button, Google Scholar, and PubMed. Publications were analyzed for 8 indicators of reproducibility and transparency—availability of materials, data, analysis scripts, protocol, preregistration, conflict of interest statement, funding statement, and open access—using a pilot-tested Google Form.

Results

After exclusion, 127 studies with empirical data were included in our analysis. Certain indicators were more poorly reported than others. We found that most publications (113, 88.9%) did not provide unmodified, raw data used to make computations, 124 (97.6%) failed to make the complete protocol available, and 126 (99.2%) did not include step-by-step analysis scripts.

Conclusions

Our sample of studies published in dermatology journals do not appear to include sufficient detail to be accurately and successfully reproduced in their entirety. Solutions to increase the quality, reproducibility, and transparency of dermatology research are warranted.

More robust reporting of key methodological details, open data sharing, and stricter standards journals impose on authors regarding disclosure of study materials might help to better the climate of reproducible research in dermatology.

URL : Transparent, Reproducible, and Open Science Practices of Published Literature in Dermatology Journals: Cross-Sectional Analysis

DOI : https://doi.org/10.2196/16078