John Goetz
Wie schon in einem früheren Beitrag beschrieben (hier, auf Deutsch beim EIKE hier), sind die Roh-Mittelwerte der USHCN-Daten berechnet, auch wenn bis zu neun Tagen tägliche Aufzeichnungen fehlen. Jene monatlichen Mittelwerte werden normalerweise nicht durch Qualitätskontrollen und Adjustierungs-Modelle des USHCN ausgesondert, obwohl die finalen Werte fast immer als ein Ergebnis dieses Prozesses geschätzt sind.
66Die täglichen, vom NCDC zusammengestellten USHCN-Temperaturaufzeichnungen enthalten die täglichen Maximum- und Minimum-Temperaturen für jede Station in dem Netzwerk ftp://ftp.ncdc.noaa.gov/pub/data/ghcn/daily/hcn/. In einigen Fällen werden Messungen für einen bestimmten Tag nicht aufgezeichnet und als -9999 bei Tmax und/oder Tmin für jenen Tag angegeben. In anderen Fällen wurde eine Messung aufgezeichnet, fiel aber bei einer Reihe von Qualitätskontrollen durch.
Qualitätskontrollen
Ich war neugierig zu erfahren, wie oft verschiedene Qualitätskontrollen gescheitert sind. Darum schrieb ich ein Programm, um mich durch die täglichen Files zu wühlen, um mehr zu erfahren. Zufälligerweise verfügte ich bereits über eine sehr geringe Anzahl täglicher USHCN-Aufzeichnungen, die ich schon für andere Zwecke heruntergeladen hatte. Diese nutzte ich jetzt, um die Software auszutesten.
Ich merkte rasch, dass mein Algorithmus eine größere Anzahl von gescheiterten Konsistenz-Checks der täglichen Aufzeichnungen für Muleshoe in Texas berechnete als bei der mit einem „I“ markierten korrespondierenden Station in der monatlichen Aufzeichnung des USHCN. Die tägliche Aufzeichnung beispielsweise markierte den Minimum-Wert am 6. und 7. Februar 1929 und den höchsten Wert am 7. und 8. Februar. Mein Verfahre berechnete das als drei Tage mit falschen Daten, aber bei den monatlichen Rohdaten waren nur zwei derartige Tage für Muleshoe angezeigt.
Unabhängig davon, wie viele Fehler gezählt worden sein sollten, ging aus der täglichen Aufzeichnung klar hervor, warum diese indiziert waren. Die Minimum-Temperatur vom 6. Februar lag höher als die Maximum-Temperatur am 7. Februar, was eine Unmöglichkeit ist. Gleiches galt für den 7. Februar relativ zum 8. Februar.
Ich bemerkte, dass es eine ganze Reihe von Fehlern wie diesem in den täglichen Aufzeichnungen von Muleshoe gab, die sich über viele Jahre erstreckten. Ich fragte mich, wie den Beobachtern wiederholt solche Fehler unterlaufen konnten. Es war an der Zeit, sich wieder dem Beobachtungsformular B-91 zuzuwenden, um zu sehen, ob dieses ein wenig Licht in die Angelegenheit bringen konnte.
Übertragungsfehler
Das B-91-Formular stammt von dieser NOAA-Website und ist unten verlinkt. Nach der Umrechnung der Temperaturen in Grad Celsius wurde das Problem offensichtlich. Die erste Temperatur (43) scheint durchgestrichen. Die letzte Temperatur in jener Spalte (39) weist einen blassen Pfeil auf, der aus einer Zeile weiter unten mit der Kennzeichnung „1*“ auf diesen Wert zeigt. Das „1*“ ist eine Bemerkung des Inhalts „Maximum-Temperatur eingeben für den ersten Tag des Folgemonats“.
February 1929 B-91 for Muleshoe, TX
Folgendes stellte sich heraus: Wer auch immer die händische Aufzeichnung in elektronische Form gebracht hat, hatte gedacht, dass der Beobachter beabsichtigte, die erste Temperatur auszustreichen und sie zu ersetzen durch eine von weiter unten, womit er folglich die Maximalwerte für den gesamten Monat um einen Tag nach oben verschob.
Um die Absicht des Beobachters herauszufinden, wurde das B-91-Formular für März 1929 untersucht um zu sehen, ob die erste Maximum-Temperatur 39 war, wie es mit „1*“ im Februar-Formular gekennzeichnet worden war. 39 war nicht nur die erste Maximum-Temperatur, es scheint, als ob sie mit der gleichen Markierung durchgestrichen worden ist. Obwohl die Ausstreichung im März-Formular erschien, war jene Aufzeichnung korrekt übertragen worden. Ein rascher Blick auf B-91 für Januar 1929 zeigte die gleichen Strichmarken über der ersten Temperatur.
March 1929 B-91 for Muleshoe, TX
January 1929 B-91 for Muleshoe, TX
Die Strichmarken tauchen auch in anderen Formularen auf. Der Oktober 1941 sah interessant aus, weil beide gescheiterten Qualitäts-Checks aus einem offensichtlichen Grund nicht anwendbar waren. Die gekennzeichneten Temperaturen waren für die Jahreszeit nicht ungewöhnlich und auch nicht ungewöhnlich relativ zu dem Tag davor bzw. danach. Mit dem Öffnen von B-91 war das gleiche „Ausstreichungs“-Artefakt sichtbar über dem ersten Eintrag der Maximum-Temperatur! Natürlich sind die Maximum-Temperaturen in der gleichen Weise verschoben worden wie im Februar 1929. Als Folge davon waren zwei kältere Tage aus der Berechnung der mittleren Temperatur ausgesondert worden.
October 1941 B-91 for Muleshoe, TX
Weil die Markierungen gleich waren, scheint es, als ob sie in viele Formulare übertragen worden waren, wenn diese in einem Speicher gesammelt wurden, möglicherweise weil die Formulare Blaupausen waren. Dies wäre wahrscheinlich geschehen nach der Übermittlung, weil im Formular für 1941 der Beobachter Temperaturen ausgestrichen hat und klar war, wo die Ersatzwerte geschrieben worden sind.
Fehlerauswirkung
Zusätzlich zu einer falschen Maximum-Temperatur wurden alle drei Tage, die als nicht dem Qualitäts-Check genügend gekennzeichnet waren, nicht zur Berechnung des monatlichen Mittels verwendet. Das in der elektronischen Aufzeichnung reflektierte nicht adjustierte Mittel betrug 0,8°C, während es in der Aufzeichnung auf Papier 0,24°C betrug, also über ein halbes Grad kälter. Die Schätzung des Zeitpunktes der Beobachtung betrug 1,41°C. Das Homogenisierungsmodell kam zu dem Ergebnis, dass ein monatlicher Wert nicht aus täglichen Daten berechnet werden konnte und sonderte ihn aus. Stattdessen füllte es die Lücke mit dem Monat und ersetzte den Wert mit einer Schätzung von 0,21°C, berechnet aus Werten der umliegenden Stationen. Während dies keine schlechte Schätzung war, bleibt aber die Frage im Raum, ob der Wert bei 0,12°C geblieben wäre, wenn die Übertragung korrekt erfolgt wäre. Außerdem hat das GHCN den Monatswert nicht übernommen, weil er eingetragen worden ist.
Im Falle des Januar 1941 reflektierte die elektronische Aufzeichnung einen nicht adjustierten Mittelwert von 2,56°C, während in der Papierform 2,44°C eingetragen war. Das Modell der Beobachtungszeit schätze das Mittel zu 3,05°C. Die Homogenisierung schätzte die Temperatur zu 2,65°C. Dies fand sich auch im GHCN.
Diskussion
Erst seit Kurzem haben wir die Fähigkeit, Klimadaten automatisch zu sammeln und anzuzeigen, ohne die Einmischung von Menschen. Viele der Temperaturaufzeichnungen, die wir haben, waren manuell gesammelt und angezeigt worden. Wenn Menschen involviert sind, können Fehler auftreten und treten auch auf. Tatsächlich war ich beeindruckt von den Muleshoe-Aufzeichnungen, weil die Beobachter Fehler korrigiert und Beobachtungszeiten angegeben hatten, die außerhalb der Norm an der Station lagen. Mein Eindruck war, dass die Beobachter an jener Station versucht hatten, so genau wie möglich zu sein. Ich habe mir die B-91-Tabellen anderer Stationen angeschaut, bei denen keine solchen Korrekturen oder Eintragungen vorgenommen worden waren. Einige dieser Stationen lagen bei Wohnhäusern. Ist es vernünftig zu glauben, dass die Beobachter niemals eine Beobachtung um 7 Uhr morgens aus irgendwelchen Gründen verpassten, wie z. B. während einer Urlaubsreise, über endlose Jahre hinweg? Dass sie immer ihre Beobachtung gleich beim ersten Mal korrekt niedergeschrieben hatten?
Die Beobachter sind lediglich eine menschliche Komponente. Hinsichtlich Muleshoe haben die Personen, die die Aufzeichnung in elektronische Form gebracht hatten, eindeutig fehlinterpretiert, was geschrieben worden ist, und das aus gutem Grund. Für sich genommen schienen die Tabellen Korrekturen aufzuweisen. Die mit der Datenübertragung befassten Personen haben dies wahrscheinlich vor vielen Jahren getan ohne jede Erfahrung, welche allgemeinen Fehler in der Aufzeichnung oder im Übertragungsprozess auftreten konnten.
Aber die Transskriptoren machten Fehler. In anderen Tabellen habe ich ausgetauschte Werte gesehen. Während ein Austausch von 27 mit 72 wahrscheinlich bei einem Qualitäts-Check aufgefallen wäre, wäre dies bei einem Übergang von 23 zu 32 wahrscheinlich nicht der Fall gewesen. Die falsche Eingabe von 20 anstatt korrekt -20 kann einen ganzen Monat mit brauchbaren Daten von automatischen Checks aussondern lassen. Diese Daten könnten nur gerettet werden durch eine sorgfältige Neu-Untersuchung der Papieraufzeichnung.
Jetzt dehne man all dies auf die übrige Welt aus. Ich denke, dass wir unseren Job so gut wie möglich gemacht haben, wie es in diesem Land zu erwarten ist, aber es ist nicht perfekt. Können wir Gleiches von der übrigen Welt sagen? Ich habe eine Vielfalt von Rechtfertigungen gesehen für die Adjustierungen der US-Daten, aber keine Erklärung dafür, warum in der übrigen Welt nicht einmal halb so viele Adjustierungen vorgenommen worden waren.
Link: http://wattsupwiththat.com/2015/09/28/human-error-in-the-surface-temperature-record/
Übersetzt von Chris Frey EIKE
„Diese Daten könnten nur gerettet werden durch eine sorgfältige Neu-Untersuchung der Papieraufzeichnung.“
Das geht erst mal ganz gut mit einem Programm, welches kritische Werte ausfiltert.
Wenn z.B. um 07 Uhr die Minimum-, Maximum- und Ablesezeittemperatur abgelesen wird – gilt: TMIN > TMAX ist Fehler. Es gilt dann im Sommer regelmäßig TMIN < TOBS, TMIN = TOBS ist verdächtig. Wenn TMAX = TOBS ist das auch verdächtig. Da muß dann geschaut werden, ob ne Kaltfront durchgegangen ist. Außerdem gibt es maximale Differenzen von TMAX - TMIN. Wenn die zu groß sind für die Jahreszeit liegt auch ein Fehler vor. Man kann damit schon eine ganze Menge Fehler finden. Dann natürlich durch die Differenzen von Tag zu Tag, die auch nur gewisse Beträge aufweisen dürfen. Aber offensichtlich hat die NOAA da geschlampt, denn die COOP-Daten weisen enorm viele Fehler incl. Vorzeichenfehler auf. Der Rest ist dann tatsächlich eine Sysiphusarbeit. Aber machbar. Damit ist mein Temperaturdatensatz östlich des 100sten Längengrades einer der derzeit besten, die verfügbar sind. Das ändert aber nichts daran, daß der systematische Fehler der TMAX/TMIN-Methode damit noch nicht ausgemerzt ist. Fehler durch die dvektion anders temperierter Luftmassen ergibt Übergangsfehler von Tag zu Tag. Es muß also noch zusätzlich die Wetterkarte überprüft werden.
Das habe ich vor etwa 4 Jahren auch bemerkt und die Daten, soweit sie mein Programm betrafen, korrigiert.
Ist schon schlimm zu entdecken, daß kontrollierte Daten – mit dem Siegel der Korrektheit versehen – gravierende Fehler wie der simpel zu erkennende Tausch der Minimum und Maximumtemperatur aufweisen. Zudem wurden Wechsel in der Ablesezeit nicht dokumentiert.
Grottenschlecht sind die Datensätze …