Peer Review in Academic Promotion and Publishing: Its Meaning, Locus, and Future

Since 2005, and with generous support from the A.W. Mellon Foundation, The Future of Scholarly Communication Project at UC Berkeley’s Center for Studies in Higher Education (CSHE) has been exploring how academic values—including those related to peer review, publishing, sharing, and collaboration—influence scholarly communication practices and engagement with new technological affordances, open access publishing, and the public good.

The current phase of the project focuses on peer review in the Academy; this deeper look at peer review is a natural extension of our findings in Assessing the Future Landscape of Scholarly Communication: An Exploration of Faculty Values and Needs in Seven Disciplines (Harley et al. 2010), which stressed the need for a more nuanced academic reward system that is less dependent on citation metrics, the slavish adherence to marquee journals and university presses, and the growing tendency of institutions to outsource assessment of scholarship to such proxies as default promotion criteria.

This investigation is made urgent by a host of new challenges facing institutional peer review, such as assessing interdisciplinary scholarship, hybrid disciplines, the development of new online forms of edition making and collaborative curation for community resource use, heavily computational subdisciplines, large-scale collaborations around grand challenge questions, an increase in multiple authorship, a growing flood of low-quality publications, and the call by governments, funding bodies, universities, and individuals for the open access publication of taxpayer-subsidized research, including original data sets.

The challenges of assessing the current and future state of peer review are exacerbated by pressing questions of how the significant costs of high-quality scholarly publishing can be borne in the face of calls for alternative, usually university-based and open access, publishing models for both journals and books.

There is additionally the insidious and destructive “trickle down” of tenure and promotion requirements from elite research universities to less competitive and non-research-intensive institutions.

The entire system is further stressed by the mounting—and often unrealistic—government pressure on scholars in developed and emerging economies alike to publish their research in the most select peer-reviewed outlets, ostensibly to determine the distribution of government funds (via research assessment exercises) and/or to meet national imperatives to achieve research distinction internationally.

The global effect is a growing glut of low-quality publications that strains the efficient and effective practice of peer review, a practice that is, itself, primarily subsidized by universities in the form of faculty salaries. Library budgets and preservation services for this expansion of peer-reviewed publication have run out. Faculty time spent on peer review, in all of its guises, is being exhausted.

As part of our ongoing research, CSHE hosted two meetings to address the relationship between peer review in publication and that carried out for tenure and promotion. Our discussions included: The Dominant System of Peer Review: Types, Standards, Uses, Abuses, and Costs; A Very Tangled Web: Alternatives to the Current System of Peer Review; Creating New Models: The Role of Societies, Presses, Libraries, Information Technology Organizations, Commercial Publishers, and Other Stakeholders; and Open Access “Mandates” and Resolutions versus Developing New Models.

This report includes (1) an overview of the state of peer review in the Academy at large, (2) a set of recommendations for moving forward, (3) a proposed research agenda to examine in depth the effects of academic status-seeking on the entire academic enterprise, (4) proceedings from the workshop on the four topics noted above, and (5) four substantial and broadly conceived background papers on the workshop topics, with associated literature reviews.

The document explores, in particular, the tightly intertwined phenomena of peer review in publication and academic promotion, the values and associated costs to the Academy of the current system, experimental forms of peer review in various disciplinary areas, the effects of scholarly practices on the publishing system, and the possibilities and real costs of creating alternative loci for peer review and publishing that link scholarly societies, libraries, institutional repositories, and university presses.

We also explore the motivations and ingredients of successful open access resolutions that are directed at peer-reviewed article-length material. In doing so, this report suggests that creating a wider array of institutionally acceptable and cost-effective alternatives to peer reviewing and publishing scholarly work could maintain the quality of academic peer review, support greater research productivity, reduce the explosive growth of low-quality publications, increase the purchasing power of cash-strapped libraries, better support the free flow and preservation of ideas, and relieve the burden on overtaxed faculty of conducting too much peer review.”

URL : http://cshe.berkeley.edu/publications/publications.php?id=379

A report of the AAUP Task Force on…

A report of the AAUP Task Force on Economic Models for Scholarly Publishing :

“Within the scholarly communications ecosystem, scholarly publishers are a keystone species. University presses—as well as academic societies, research institutions, and other scholarly publishers—strive to fulfill our mission of “making public the fruits of scholarly research” as effectively as possible within that ecosystem. While that mission has remained constant, in recent years the landscape in which we carry out this mission has altered dramatically.

The expertise residing within university presses can help the scholarly enterprise prosper in both influence and impact as it moves ever more fully digital. However, the simple product-sales models of the twentieth century, devised when information was scarce and expensive, are clearly inappropriate for the twenty-first century scholarly ecosystem.

This report a) identifies elements of the current scholarly publishing systems that are worth protecting and retaining throughout this and future periods of transition; b) explores business models of existing projects which hold promise; c) outlines the characteristics of effective business models; d) addresses the challenges of the transitional period we are entering; and e) arrives at recommendations that might allow us to sustain high-quality scholarship at a time when the fundamental expectations of publishing are changing.

URL : http://aaupnet.org/resources/reports/business_models/

Le JCR facteur d’impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative

Auteurs/Authors : Joachim Schöpfel, Hélène Prost

Une des fonctions principales des revues scientifiques est de contribuer à l’évaluation de la recherche et des chercheurs. Depuis plus de 50 ans, le facteur d’impact (IF) de l’Institute of Scientific Information (ISI) est devenu l’indicateur dominant de la qualité d’une revue, malgré certaines faiblesses et critiques dont notamment la sur-représentation des revues anglophones. Cela est un handicap aussi bien pour les chercheurs français que pour les éditeurs francophones ; publier en français n’est pas valorisant.

Or, il existe depuis 2007 une alternative sérieuse à l’IF : le nouveau SCImago Journal Rank Indicator (SJR) qui applique l’algorithme de Google (PageRank) aux revues de la base bibliographique SCOPUS dont la couverture est plus large que celle de l’ISI.

Le but de notre étude est de comparer ces deux indicateurs par rapport aux titres français. L’objectif est de répondre à trois questions : Quelle est la couverture pour les titres français indexés par l’ISI et par SCOPUS (nombre de revues, domaines scientifiques) ? Quelles sont les différences des deux indicateurs IF et SJR par rapport aux revues françaises (classement) ? Quel est l’intérêt du SJR pour l’évaluation, en termes de représentativité des titres français ?

Les résultats de notre analyse de 368 revues françaises avec IF et/ou SJR sont plutôt encourageants pour une utilisation du nouvel indicateur SJR, du moins en complémentarité au IF :

(1) Couverture : 166 revues sont indexées par l’ISI (45 %), 345 revues par SCOPUS (94 %), 143 revues par les deux (39 %). 82% des revues sont issus des domaines STM, 18% des domaines SHS. La couverture de SCOPUS est meilleure surtout en médecine et pharmacologie.

(2) Classement : Pour les titres avec IF et SJR, la corrélation entre les deux indicateurs est significative (0,76). En termes de classement (ranking), l’IF différencie mieux les revues que le SJR (155 vs. 89 rangs). En revanche, du fait de la couverture plus exhaustive de SCOPUS, le SJR rend visible au niveau international davantage de titres.

(3) Représentativité : L’intérêt de SCOPUS et du SJR réside dans la couverture plus représentative de l’édition française (19% vs 9% pour ISI/IF), notamment en STM (38% vs 19 %), beaucoup moins en SHS (6% vs 2 %). Sont indexés surtout les titres de quelques grands éditeurs français ou internationaux ; la plupart des éditeurs français (80 %–90 %) n’ont aucun titre dans le JCR et/ou SCOPUS, même si de nouveau SCOPUS est plus représentatif (avec 17% des éditeurs vs 10% pour le JCR).

Les problèmes méthodologiques et les perspectives pour une évaluation multidimensionnelle sont discutés. L’étude compare le IF et le SJR par rapport aux 368 titres français avec IF et/ou SJR. Les résultats : La couverture du SJR est plus large que celle de l’IF (94% vs 45%) et meilleure surtout dans les sciences médicales. Pour les titres avec IF et SJR, la corrélation entre les deux indicateurs est significative (0,76). En termes de classement (ranking), l’IF différencie mieux les revues que le SJR (155 vs 89 rangs). L’intérêt du SJR réside dans la couverture plus représentative de l’édition française (19% vs 9% avec IF), notamment en STM (38% vs 19 %), moins en SHS (6% vs 2 %).

URL : http://archivesic.ccsd.cnrs.fr/sic_00567847/fr/

Les « trois horloges » de la « société de l’information ». De la disharmonie à la rupture ?

Ecrit en 2007, après le Sommet Mondial de la Société de l’Information, organisé à Tunis en 2005, ce texte propose une réflexion approfondie et originale. Il a aujourd’hui, en ce début 2011, une pertinence renforcée qui donne à réfléchir sur notre “Société de l’information”. Avec la mondialisation, les TIC sont devenues prééminentes.

Le « DigiWorld » incluant notamment le secteur des télécommunications, focalisé autour des technologies, connaît une croissance exponentielle. L’horloge technologique rythme la dynamique de la SI à une cadence très élevée. Cette « horloge » imprime le tempo de l’économie mondiale. L’horloge économique suit le mouvement. Les nouvelles lois de l’économie et des réseaux imposent leurs mécanismes. L’économie des réseaux précise en particulier que « les forts se renforcent » et que « les faibles s’affaiblissent ».

Inexorablement. La rupture, visible à Tunis en 2005, entre les différents pavillons du Sommet Mondial de la Société de l’Information, est manifeste. La troisième horloge, l’horloge « humaine et sociale » montre qu’une majorité de l’humanité peine à s’approprier les technologies, à les rendre « utilisables ».

Cette horloge peut-elle être remise à l’heure ou bien les écarts ne sont-ils pas destinés à s’accroître ? L’essor des TIC n’a en aucune façon conduit à une résorption des fractures, contrairement à ce qui a été longtemps annoncé et qui reste une opinion dominante. Les TIC ne sont pas synonymes d’information, de connaissance et, de façon évidente, ne sont pas associées à une qualité de l’information améliorée.

Au contraire, les fractures s’approfondissent. Nous avons montré la disharmonie, la rupture croissante et d’une ampleur extrême entre les horloges technologique et économique d’une part et l’horloge humaine et sociale d’autre part.”

URL : http://archivesic.ccsd.cnrs.fr/sic_00570588/fr/

Les SIGB libres : opportunités d’innovations pour les bibliothèques

Since 10 years, more and more libraries are choosing an Free and Open Source Integrated Library management System (ILS). We see that their evolution is very fast and the collaborative development fosters the emergence of innovative features for libraries and their users.

The innovation is as much about free ILS unique features as on the possibility of developing an ILS in collaboration with other libraries. The establishment of a collaborative structure enables the rapid development of innovations.

We present our observations on the innovative aspects of Free and Open Source ILS, especially with Koha. Libraries have to take advantage of opportunities for innovation offered by Free and Open Source ILS.

URL : http://eprints.rclis.org/15396/

Working Together to Reduce Plagiarism and Promote Academic Integrity: A Collaborative Initiative at Leicester

This staff student collaboration arose from a staff-led research project that examined the potential for an American-style honor code system to reduce plagiarism in higher education.

This system promotes the positive benefits of good scholarship, encourages students to take responsibility for their own learning and is based on a community of trust between staff and students. Students’ Union Education Officers, student course representatives and academic staff worked together to re-frame advice given to students on plagiarism in a more positive light.

This ongoing collaboration has resulted in joint recommendations from staff and students to the institution on how to reduce plagiarism and promote a culture of academic integrity.”

URL : https://lra.le.ac.uk/handle/2381/9108

Characterising and Preserving Digital Repositories: File Format Profiles

Steve Hitchcock and David Tarrant show how file format profiles, the starting point for preservation plans and actions, can also be used to reveal the fingerprints of emerging types of institutional repositories.

URL : http://www.ariadne.ac.uk/issue66/hitchcock-tarrant/