David Wojick
Nachdem ich mich mehrere Jahre lang mit der weit verbreiteten Praxis des Peer-Review-Verfahrens für wissenschaftliche Zeitschriftenartikel beschäftigt habe, bin ich widerwillig zu dem Schluss gekommen, dass Peer-Review schlecht für die Wissenschaft ist. Die Praxis hat zwar auch ihre guten Seiten, aber es gibt mehrere Möglichkeiten, wie sie den Fortschritt stark behindert, und das Schlechte überwiegt das Gute bei weitem.
Schauen wir uns zunächst einmal an, was Peer Review zu tun versucht. Es liegt auf der Hand, die Veröffentlichung von gefälschter Wissenschaft zu blockieren. Dies scheint jedoch in den meisten Wissenschaften ein seltenes Ereignis zu sein. Es werden jedes Jahr mehrere Millionen Zeitschriftenartikel veröffentlicht, die alle begutachtet wurden, in der Regel von zwei oder drei Gutachtern. Offensichtlich waren diese vielen Millionen Begutachtungen kein Hindernis hinsichtlich der Veröffentlichung dieser unzähligen Artikel.
Paradoxerweise wurden jedoch die meisten dieser Artikel tatsächlich auf der Grundlage von Peer-Review-Verfahren abgelehnt; viele wurden mehrmals abgelehnt. Spitzenzeitschriften rühmen sich oft mit hohen Ablehnungsquoten, etwa 80% oder so. Wenn dies die allgemeine Praxis ist, muss ein durchschnittlicher Artikel bei etwa fünf Zeitschriften eingereicht werden, bevor er akzeptiert und veröffentlicht wird. Wenn jede Einreichung einem Peer-Review-Verfahren unterzogen wird, dann sind das eine Menge Überprüfungen pro Artikel, vielleicht zehn bis fünfzehn im Durchschnitt.
Angesichts der Tatsache, dass all diese mehrfach abgelehnten Artikel schließlich veröffentlicht werden, muss etwas anderes als einfache Bewertung betrieben werden. Dieses Etwas scheint ein äußerst mühsamer Sortierprozess zu sein, bei dem jeder Artikel schließlich die „richtige“ Zeitschrift findet. Es ist schwer vorstellbar, dass durch diese vielen Millionen von Begutachtungen eine Aufwertung der Beiträge stattfindet. In welcher Zeitschrift ein Artikel schließlich erscheint, scheint angesichts moderner Suchtechnologien nicht mehr sehr wichtig zu sein.
Ein negativer Aspekt der Peer Review ist bekannt. Hier verhindert die Bewertung, dass großartige neue Ideen veröffentlicht werden. Max Planck, der die Quantennatur der Energie entdeckte, drückte es sehr schön aus und sagte so etwas wie: „Ihre Ideen werden (nur) dann akzeptiert, wenn Ihre Studenten Zeitschriftenredakteure werden. Das ist die dunkle Seite der Peer-Review, die die Wissenschaft blockiert, die neuartigen guten Ideen werden als schlechte Ideen blockiert.
Aber es gibt noch einige andere Nachteile, die sich aus dem Peer-Review ergeben, die ich nicht erwähnt gesehen habe. Diese Schattenseiten sind Merkmale der unglaublich zeit- und arbeitsintensiven Natur dieser Praxis.
Da ist zunächst die enorme Zeitverzögerung zwischen dem Zeitpunkt, an dem eine Arbeit geschrieben wird, und dem Zeitpunkt, an dem sie schließlich veröffentlicht wird. Nehmen wir an, dass die Begutachtung durch Fachkollegen vier Monate dauert, was wahrscheinlich ziemlich schnell ist. Wenn eine durchschnittliche Studie fünf Mal begutachtet wird, dann sind das fast zwei Jahre an Begutachtungen, bevor sie schließlich angenommen wird. (Außerdem liegen zwischen diesen Begutachtungen noch viele andere Schritte, so dass der Durchschnitt eher bei vier Jahren von der ersten Einreichung bis zur endgültigen Veröffentlichung liegen dürfte).
Wenn jedes Jahr zwei Millionen Arbeiten mit einer durchschnittlichen Verzögerung von etwa zwei Jahren aufgrund von Peer-Review-Verfahren veröffentlicht werden, bedeutet dies eine Anhäufung von vier Millionen Jahren Verzögerung pro Jahr. Man kann davon ausgehen, dass die Beseitigung dieser gewaltigen Flut von Verzögerungen den Fortschritt der Wissenschaft dramatisch beschleunigen würde.
Dann sind da noch die Kosten. Die Organisation und Verwaltung des Peer-Review-Verfahrens ist wahrscheinlich der größte Kostenfaktor für Zeitschriftenverlage. Man beachte, dass bei einer Ablehnungsquote von 80 % etwa fünf Artikel für jeden veröffentlichten Artikel begutachtet werden. Bei drei Begutachtungen bedeutet das jeweils fünfzehn Begutachtungen pro veröffentlichten Artikel.
Die hohen Kosten für Zeitschriften und Artikel sind ein großes Hindernis für den Zugang aller außer den reichsten Universitäten und Forschern. Dadurch wird der Fortschritt der Wissenschaft wahrscheinlich stark behindert.
Hinzu kommt die enorme Zeit, die Forscher damit verbringen, die Artikel der anderen zu überprüfen. Es wird erwartet, dass die Rezensionen umfassend sind, so dass sie wahrscheinlich jeweils 10 bis 20 Stunden dauern, vielleicht sogar mehr. Bei fünfzehn Rezensionen pro veröffentlichten Artikel sind das 150 bis 300 Stunden Rezensionszeit.
Man multipliziere das mit 2 Millionen veröffentlichten Artikeln, und wir erhalten unglaubliche 300 bis 600 Millionen Stunden pro Jahr, die eher der Rezension als der Forschung gewidmet sind. Geht man davon aus, dass ein Arbeitsjahr 2000 Stunden beträgt, ist das so, als ob man 150.000 bis 300.000 Forscher von ihrem eigentlichen Arbeitsplatz fernhält, nur um die Arbeiten der anderen zu begutachten. Man stelle sich vor, was man stattdessen an Forschungen durchführen könnte. Auch dies ist ein großer Verlust für den Fortschritt der Wissenschaft.
Schlussfolgerung: Peer-Review fügt dem wissenschaftlichen Prozess in erheblichem Umfang Verzögerungen, Kosten und Ablenkung hinzu. Es ist nicht gut genug, um diese enormen negativen Auswirkungen auf das Tempo des wissenschaftlichen Fortschritts zu rechtfertigen. Unter dem Strich ist Peer-Review also schlecht für die Wissenschaft.
Autor: David Wojick, Ph.D. is an independent analyst working at the intersection of science, technology and policy. For origins see http://www.stemed.info/engineer_tackles_confusion.html For over 100 prior articles for CFACT see http://www.cfact.org/author/david-wojick-ph-d/ Available for confidential research and consulting.
Link: https://www.cfact.org/2020/07/18/is-peer-review-bad-for-science/
Übersetzt von Chris Frey EIKE
Peer review. Übersetzt heißt das „Wissenschaftliche Inzucht!“
Peer review hat neben dem behaupteten Zweck auch den angenehmen Nebeneffekt bei richtiger Anwendung alle politisch nicht korrekten Veröffentlichungen ganz demokratisch zu verhindern.Ähnliche Effekte können wir allüberall beobachten.Scheinbar logisch sinnvolle Regeln werden in der Anwendung pervertiert.
Die historische Erfahrung (Semmelweis, Virchow u.a.) und ein ganz klein wenig meine eigene besagt: etwas wirklich Neues wird (zumindest zunächst) abgelehnt – von den Kollegen und von den Zeitschriften.
Statt peerreviews wäre es besser,dass alle Institute die Gelder von uns Steuerzahlern bekommen sich an die Qualitäts normen der FDA halten würden an GLP und Methodenvalidierung,dann würden sich z.B nicht mehr die fake Bohrlochmessungen halten,die berüchtigen 280ppm CO2 von 1750 die mit einem systematischen Fehler durch nicht validierte Probennahme behaftet sind.
Bitte hier nur unter vollem Klarnamen posten, siehe Regeln.
Davon kann ich ein Lied singen. Das Korrekturverfahren an geophysikalischen Daten habe ich dahingehend verändert, dass die Integrationsvariable ins Messsystem gelegt wurde. Dadurch kann viel sauberer gearbeitet und das Messsystem besser analysiert werden und alles ist recht einfach automatisiert anwendbar. Ein anderes Verfahren hat die Integrationsvariable auf der Topographie welches das ganze Verfahren komplex macht. Ein Kollege in Australien hat daraus aber ein Geschäftsmodell gemacht: Er hat sich durch die Komplexität gekämpft und bietet die Korrekturen als Service an, die sonst unterlassen werden.
Die Veröffentlichung hätte wohl dieses Geschäftsmodell zerstört. Die Zeitschrift hatte Mühe, Peer-Reviewer zu finden und fragte ausgerechnet einen guten Freund des Australiers wo man geeignete Peer-Reviewer finden könne. Der Co-Editor hatte mir nahegelegt, es in anderer Form noch einmal zu versuchen und sich recht eindeutig in einer email an mich hierzu geäußert. Demonstration an anderen Daten ausgearbeitet, aber im Herkunftsland gibt es keinen Ansprechpartner mehr um die Erlaubnis zum Veröffentlichen zu bekommen. Man verliert irgendwann die Lust.
Die Zeiten mögen vielleicht überzogen sein, dürften für „nichtkonforme“ Publikationenn aber stimmen.
Schlimmer ist, daß die „richtige“ Wissenschaft durchgelassen, die „falsche“ abgeblockt wird. Peer Begutachtete, die dem richtigen Meinungskartell angehören, werden immer bevorzugt durchgewunken. Ist bei dem Zeitaufwand auch gar nicht anders möglich.
Sehen Sie sich die Arbeit von Prof. Horst-Joachim Lüdecke an, der kann ein Trauerlied davon singen.
Mir fallen 3 Dinge auf.
1. die Zeiten, die dort genannt werden, sind hypothetisch.
2. Es sind sehr grobe Schätzungen. Gibt es da auch Statistiken zu?
3. Was wäre die Alternative zum Peer-Review?
>>3. Was wäre die Alternative zum Peer-Review?<<
Peer-Review ist wissenschaftlicher Unfug. Darüber muß man sich erst einmal klar werden.
Wer wissenschaftliche Artikel schreiben kann, der hat in aller Regel auf dem Fachgebiet ein komplettes Studium absolviert und die Prüfungen bestanden. Das bedeutet natürlich nicht, daß er keine Befähigung besitzt in anderen Gebieten fachlich tätig werden zu können.
Insofern hat sich der Kontrolleur (Reviewer) nur damit zu befassen, ob die Ausführungen wissenschaftlich korrekt formuliert wurden. Ob den Ergebnissen zuzustimmen ist, ist dann alleinige Sache der Leser und ggfs. Zitierer. Nach der heutigen Methodik mancher "Zeitschriften" hätte Einstein nix veröffentlichen können … . Und wie das in D zur Hitlerzeit aussah, das kann man anhand der veröffentlichten Windmühlentechnikbilder (Planung) erkennen.
Tut mir leid, aber ich kenne kein Paper, dass vier Jahre bis zur Veröffentlichung brauchte.
Swensmark hat fünf Jahre gebraucht