Die Fachbegutachtung von wissenschaftlichen Papieren in der Klimawissenschaft steht seit längerem im Kreuzfeuer der Kritik. Klimagate – die Veröffentlichung der Emails führender Klimatologen hat die schlimmen Befürchtungen bestätigt, dass „etablierte“ Wissenschaftler nicht davor zurückschreckten, die Fachbegutachtung in ihrem Sinne zu beeinflussen und zu steuern.
Der Geologe Marc Hendrickx beschäftigt sich mit dem Peer Review Prozess und kommt zu dem Ergebnis, dass das herkömmliche Verfahren besser ist, als Blog-Kommentaren oder Meinungen aus Internet-Foren nachzulaufen.
Die Fachbegutachtung ist tot, es lebe die Internet-Begutachtung!?
Marc Hendrickx schrieb in ABC’s The Drum.
Im Januar 2009 hatte die Fachzeitschrift NATURE auf ihre Titelseite die Ergebnisse einer neuen Studie mit dem Titel ‚Erwärmung des antarktischen Eisschildes seit dem Internationale Geophysikalischen Jahr 1957’ geknallt.
Das Thema wurde von einem flammenden Leitartikel begleitet. Die Medien berichteten ausführlich.
Bald nach Veröffentlichung der Studie wurden sachliche Fehler gefunden, dazu kamen Probleme der Methodik ans Licht, mit deren Hilfe die überraschenden Ergebnisse zustande gekommen waren. Die Fehler und die methodischen Probleme wurden in den Klima-Blogs bei Watts Up With That, The Air Vent, Climate Audit und Real Climate dargestellt und diskutiert.
Man stelle sich vor, zu diesem Zeitpunkt hätte der Chefredakteur von NATURE in die Blog-Kommentare geschaut und hätte erkannt, dass die Zeitschrift ein durch den normalen Fachbegutachtungs-Prozess gelaufenes Papier veröffentlicht hatte, welches grundlegend falsch war und nicht gedruckt hätte werden dürfen.
Die ursprünglichen Fachgutachter könnten ja die Klima-Alarm-Vorstellungen der Autoren geteilt und damit die Glaubwürdigkeit der Fachbegutachtung selbst in Frage gestellt haben. Die Medien machten dann in ihrer Berichterstattung Teile der Ergebnisse zu einer Sensation.
Der Chefredakteur wäre derart enttäuscht wegen der Veröffentlichung des fehlerhaften Papiers und er träte zurück.
Klingt das an den Haaren herbeigezogen? Der Chefredakteur von NATURE ist natürlich nicht zurückgetreten. Er brauchte das auch nicht zu tun, die wissenschaftliche Fachleserschaft erwartete keinen Rücktritt, trotz der Probleme mit dem Papier.
In der Folge veröffentlichte NATURE eine Korrektur der Autoren, die einige der sachlichen Fehler behandelte. Später wurde der Blog-Kommentar von Ryan O’Donnell, Nicolas Lewis, Steve McIntyre and Jeff Condon, der die methodischen Probleme behandelte, als fachbegutachtetes Papier im JOURNAL of CLIMATE veröffentlicht
Anders als das ursprüngliche Papier wurde darüber aber kaum in den Medien berichtet. Vielleicht haben der lange Zeitraum, den das Papier in der Fachbegutachtung steckte (10 Monate), und die wenig sensationellen Befunde das Interesse der Medien eingelullt.
Es ist ein Beispiel, wie die Fachbegutachtung läuft. Papiere werden geschrieben, begutachtet, zurückgewiesen, angenommen, gelobt, kritisiert, korrigiert, abgelehnt und verworfen. Wenn erhebliche Fehler vorkommen, werden sie sogar zurückgezogen. Der wissenschaftliche Prozess und der Grund, warum er so gut läuft, ist, dass da ständig korrigiert und revidiert wird. Eine Theorie steht, solange bis eine bessere sie ersetzt. Die Fachbegutachtung wirkt wie ein großes Sieb, sie ist keineswegs perfekt, und es ist lachhaft, ständig perfektes Funktionieren von ihr zu erwarten.
Ein besseres System entsteht gerade und ersetzt das traditionelle. Es fasst die anonyme (herkömmliche) und die Online-Begutachtung zusammen. Fachzeitschriften wie z. B. THE CRYOSPHERE wenden es an. Im Idealfalle werden die Ergebnisse und Schlussfolgerungen wichtiger Papiere unabhängig begutachtet, aber mangels Finanzierung weckt es keine Begeisterung in der Wissenschaftlergemeinde. Blogs wie CLIMATE AUDIT füllen die entstehende Lücke, die Reaktion aus der Wissenschaft fällt gemischt aus.
Bei "grundlegenden" Papieren werden weitaus mehr „Fahrkarten geschossen“ als Treffer. So hat eine neuere Untersuchung in der Epidemiologie ergeben, dass sich die meisten veröffentlichten Forschungsergebnisse innerhalb von fünf Jahren nach der Publikation als falsch erweisen. Es gibt keine Veranlassung für den Glauben, dies sei in anderen Disziplinen besser. Wenn ein Redakteur bei jedem Problem zurücktreten sollte, käme die wissenschaftliche Veröffentlichungspraxis bald zum Erliegen.
Erstaunlicherweise hat sich der vorstehend geschilderte Ablauf des Rücktritts eines Herausgebers wegen der Veröffentlichung eines umstrittenen Papiers dennoch ereignet. Es ging um ein Papier von Roy Spencer und William Braswell, das im August in REMOTE SENSING unter dem Titel ‚On the Misdiagnosis of Climate Feedbacks from Variations in Earth’s Radiant Energy Balance‚ veröffentlicht wurde (Zur Fehldiagnose von Klima-Rückkoppelungen aus Veränderungen in der Strahlungsenergiebilanz der Erde). Genau wie beim Antarktis-Papier in NATURE ist das Papier von Spencer und Braswell durch den normalen Fachbegutachtungsprozess gelaufen. Die Universität des Autors empfahl es in einer Pressemitteilung und es erregte die Aufmerksamkeit einiger Medien.
Wie beim Antarktis-Papier wurde aus den Ergebnissen eine Sensation gemacht. Es gab zustimmende wie harte Kritik im Internet. Und es scheint nicht frei von Fehlern und methodischen Problemen zu sein.
Anstatt abzuwarten, bis sich das Fachbegutachtungssystem mit der Angelegenheit befasst hatte, trat der Herausgeber der Zeitschrift, Prof. Wolfgang Wagner, schnell zurück. In seiner Erklärung erläuterte er, dass er sich nicht auf die fachbegutachtete Literatur für seine Entscheidung verlassen hätte, sondern auf Kommentare in einem Internet Blog. Er sagte:
Die fachbegutachteten Journale sind Pfeiler der modernen Wissenschaft. Indem sie eine strenge Begutachtung durchführen, trachten sie nach höchsten wissenschaftlichen Standards. Die Minimalforderung ist, grundlegende methodische Fehler und falsche Behauptungen zu erkennen. Unglücklicherweise ist das in Remote Sensing veröffentlichte Papier von Spencer und Braswell in beiden Bereichen problematisch. Klimaforscher und engagierte Beobachter der Klimawandel-Debatte haben in vielen Internet-Foren darauf hingewiesen. Das Papier hätte nicht veröffentlicht werden dürfen. Angesichts dieser Lage und nach Abwägen der Pro und Contra-Argumente schließe ich mich der Kritik am Papier an. Daher übernehme ich die Verantwortung für die redaktionelle Entscheidung und trete als Chefredakteur von REMOTE SENSING zurück.
Zusätzlich hat er auch noch das Vertrauen der Gutachter missbraucht und sie mit folgenden Worten verhöhnt: Das Redaktionskollegium hat unbeabsichtigt drei Gutachter ausgewählt, die wahrscheinlich einige klimaskeptische Ansichten der Autoren teilen.
Der Himmel bewahre uns vor der Begutachtung eines Papiers durch Wissenschaftler, die die Ansichten des Autors teilen. Wenn das wahr wird, können dann überhaupt noch „skeptische“ Gutachter für kritische Einlassungen im kommenden IPCC-Bericht eingeladen werden?
Professor Wagner ist kein Fachmann auf dem einschlägigen Gebiet der Klimawissenschaft. Er kann daher den Wert des Papiers selbst nicht beurteilen (deshalb werden ja Fachleute als Gutachter eingesetzt). Er hatte sich auf die Kommentierung in einem nicht fachbegutachteten Internet-Klima-Forum verlassen, um seinen Rücktritt zu rechtfertigen. Der Rücktritt ist sehr ungewöhnlich, er war weder erwartet worden, noch erforderlich. Das Papier von Spencer und Braswell ist nicht zurückgezogen worden, eine Menge formaler Kritik am Papier wurde aber rasch laut. Eine in Geophysical Research Letters und eine in Remote Sensing. Dazu gab es sogleich Kommentierungen (z. B. in Climate Audit – hier und hier). Rücktrittsforderungen wegen der aufgeworfenen Fragen wurden nicht erhoben.
Die Kommentierung in Remote Sensing kam fast mit Überlichtgeschwindigkeit und wurde binnen 24 Stunden angenommen. Seltsamerweise ist das gegen die Regeln. Noch fehlt die Antwort der Autoren Spencer und Braswell. Man nimmt an, dass sie sich in naher Zukunft öffentlich äußern werden.
Zum Vergleich: die Kritik am Papier von der antarktischen Erwärmung in NATURE ruhte bei den Gutachtern vom Journal of Climate zehn lange Monate. Es scheint einen Schnellweg im Fachbegutachtungssystem für Papiere und Kommentare zu geben, die im Einklang mit einer bestimmten Ansicht stehen, andere dagegen werden im Schneckentempo beurteilt und begutachtet. Wie dem auch sei, die Lernkurve des Systems steigt langsam an, wenn wir auch manchmal ein paar Schritte zurückgehen bei unserem Marsch in die Zukunft.
Wagners Rücktritt hat die Meinung zu Spencer und Braswells Papier unnötigerweise negativ beeinflusst, dessen ungeachtet, ob die Arbeit schließlich zurückgewiesen oder bestätigt wird. Das Fachbegutachtungssystem ist gut geeignet für die wissenschaftliche Debatte, sogar wenn es missbraucht wird. Es führt Wagners unbedachte Entscheidung ad absurdum. Wenn es nach Wagner ginge, wäre die Fachbegutachtung tot und die Begutachtung durch Blogs und Internet-Foren die Zukunft.
Marc Hendrickx arbeitet als Teilzeit-Geologe und schreibt derzeit an seiner Dissertation an der Newcastle University.
#1: S.Hader
„Vor kurzem las ich vom Open-Peer-Review, welches einzelne Zeitschriften verwenden. Dabei wird erst mal jedes Paper veröffentlicht, allerdings befinden sich im Anhang die schriftlichen Gutachten, die dem Leser Hinweise über die wiss. Qualität und Mängel geben. Der Vorteil wäre, dass niemand ausgeschlossen würde, man aber trotzdem eine externe Einschätzung bekommt.“
In der Tat wäre dies sinnvoll. Allerdings wird eine Zeitschrift auch nicht jede Arbeit veröffentlichen.
Heute haben wir aber das Weltnetz und da könnte man seine Arbeiten der Öffentlichkeit vorstellen, welche dann die Arbeit entsprechend begutachten kann.
Im Prinzip wird dies hier so ähnlich gehandhabt. Bis eben auf den Umstand, daß auch hier nur bestimmte Artikel gezeigt werden.
Aber etwas ähnliches in allgemeiner Form sollte schon möglich sein. Dann kann der Autor auf mögliche Einwände reagieren und möglicherweise seine Arbeit nachbessern.
Eine so geprüfte Arbeit könnte dann auch noch in einer Fachzeitschrift veröffentlicht werden. Wenn es interessiert.
#2: Sabrina Schwanczar
„Dann haben es z.B. Hexendiagnostizierer, Theologen, Psychotherapeuten……“
Die Liste darf noch verlängert werden. Schuld daran ist die etablierte „Wissenschaft“ selbst, welche zu einer Pseudowissenschaft mutiert ist. Wenn „die“ darf, dürfen die anderen auch 🙂
Pseudowissenschaft zu fabrizieren geht recht einfach. Man verdreht einfach einige Begriffe und dann hat man schon ein neues Problem geschaffen. Aus Zeitraum wird dann Raumzeit und aus Zeitpunkt eben Punktzeit 🙂
Bestimmt kann man dann eine Formel erdichten, welche Punktzeit zu einem Zeitpunkt in der Raumzeit während eines Zeitraumes herrscht 🙂
#1: S.Hader sagt:am Donnerstag, 29.09.2011, 10:09
Hallo, ich bin etwas überrascht, dass bisher noch kein Kommentar unter diesem Beitrag einging. Denn das Peer-Review-Verfahren von wissenschaftlichen Journalen war schon öfters Gegenstand von Diskussionen.
Ich fände es interessant zu erfahren, welche Alternativen zu den heutigen Verfahren andere User bevorzugen würden.“
Meine Auffassung ist, dass sich seriöse Wissenschaft einer PRÜFUNG VON AUSSEN stellen muss.
Dann haben es z.B. Hexendiagnostizierer, Theologen, Psychotherapeuten, orthopädische Bandagenverordner, Urknalltheoretiker, Rote Riesen, Frischzellenkurierer (inzwischen verboten) und manche Vertreter der AGW-Szene nicht mehr so leicht, ungestört ihr Geschäft auf dem Rücken der Leute zu betreiben.
mfG
Hallo, ich bin etwas überrascht, dass bisher noch kein Kommentar unter diesem Beitrag einging. Denn das Peer-Review-Verfahren von wissenschaftlichen Journalen war schon öfters Gegenstand von Diskussionen.
Ich fände es interessant zu erfahren, welche Alternativen zu den heutigen Verfahren andere User bevorzugen würden. Ich persönlich denke, es gibt berechtige Kritik an den heutigen Verfahren. Insbesondere das in der Wissenschaftswelt zu sehr Wert auf die Veröffentlichung von möglichst vielen Papers gelegt wird. Mehr Klasse statt Masse wäre manchmal angebrachter. Autoren wie auch Gutachter hätten mehr Entlastung, wenn es nicht zum guten Ton gehören würde, praktisch alle zwei Monate ein Paper zu veröffentlichen.
Aber letztlich wird die Qualitätskontrolle nur durch Review-Verfahren stattfinden können (meine Einschätzung). Man könnte sich allerdings Modifikatinen einfallen lassen. Vor kurzem las ich vom Open-Peer-Review, welches einzelne Zeitschriften verwenden. Dabei wird erst mal jedes Paper veröffentlicht, allerdings befinden sich im Anhang die schriftlichen Gutachten, die dem Leser Hinweise über die wiss. Qualität und Mängel geben. Der Vorteil wäre, dass niemand ausgeschlossen würde, man aber trotzdem eine externe Einschätzung bekommt.