Datenprüfung

Qualitätsgeprüfte Datensätze stellen die Grundlage für alle klima- und umweltrelevanten Projekte dar. Diese Daten dienen als Input für kartographische Darstellungen, Klimavariabilitätsstudien, Klimasimulationsmodelle und Extremwertanalysen. Bei Untersuchungen von Extremereignissen, wie Starkniederschlagsperioden, Trockenperioden und ähnlichen werden die Datensätze in hoher zeitlicher Auflösung, zumindest auf Tagesbasis, benötigt.

Die Datenprüfung der Tagesdaten erfolgt nach einem Mehrstufenprinzip. Dabei werden historische Zeitreihen einer inneren, zeitlichen sowie klimatologischen Konsistenzprüfung unterzogen. Nach dieser Qualitätsprüfung werden die Datensätze des Weiteren mit räumlichen sowie statistischen Testverfahren untersucht. Die Aufgabenstellung der Klimadatenprüfung für dieses Projekt beinhaltete die Daten-Akquisition, Digitalisierung, Korrektur und zu guter letzt die Daten-Homogenisierung von meteorologischen Parametern, möglichst auf Tagesbasis beruhend.

 

Um eine herausragende und einheitliche Datenqualität zu erreichen, wurden die erfaßten und teilweise auch neu digitalisierten Daten einer mehrstufigen Qualitätsprüfung unterzogen, welche in 6 Schritte eingeteilt wurde:

 

1. Vorprüfungen:

Diese Prüfungen wurden während der Datenerfassung, Datentransformierung und dem Datenimport durchgeführt. Sie beinhalteten einerseits die Auffindung von sogenannten „Ausreißerdaten“, die Prüfung von Schwellwerten, sowie eine zeitliche Konsistenzprüfung. In diesem ersten Arbeitsschritt wurden fragwürdige Werte gekennzeichnet, „Ausreißer“ und Fehlwertkennungen korrigiert.

 

2. Vollständigkeitsprüfung:

Bei dieser Prüfung wurde die Vollständigkeit der Datensätze überprüft. Dies war ein wesentlicher Punkt für dieses Projekt da weitere Berechnungen wie zum Beispiel Monatssummenbildung der Messwerte unterschiedlicher Parameter auf einem lückenlosen Datensatz basieren. Lücken wurden je nach Parameter und der Länge des fehlenden Zeitraums mit Fehlwerte aufgefüllt oder mit Werten korrigiert, bzw. interpoliert. Hilfreich für diese Qualitätsprüfung waren Originalwerte von historischen Thermo-Hygrograph-Streifen, von Klimabögen und Radarbilder.

 

3. Klimatologische Prüfung:

Hierbei wurde getestet ob alle Messwerte innerhalb eines klimatologischen Grenzwertebereichs liegen. Diese Grenzwertebereiche sind abhängig von der geographischen Position (Höhenlage) der Station und vom Meßzeitpunkt. Unterschreitet ein Messwert ein Minimum oder überschreitet er ein Maximum, wird der Messwert als „zweifelhaft“ ausgegeben. Ob dieser Wert korrigiert werden muß oder als korrekt bestätigt wird, entscheidet dann der Prüfer nach nochmaliger Kontrolle. Somit wird sichergestellt, daß auch extreme Wetterereignisse, die den normalen klimatologischen Gegebenheiten widersprechen, durch das Prüfsystem nicht verfälscht werden.

 

4. Innere Konsistenzprüfung:

Bei der Prüfung auf innere Konsistenz wurden verschiedene Parameter einer Zeitreihe auf logische Zusammenhänge überprüft. Dies kann beispielsweise die Differenz zweier Temperatursensoren sein, die einen Maximalwert nicht überschreiten darf. Wie auch beim vorigen Prüfungsabschnitt entscheidet der Prüfer nach nochmaliger Kontrolle, wie mit dem zweifelhaften Wert umzugehen ist.

 

5. Räumliche Konsistenzprüfung:

Um die Korrektheit der Messwerte im räumlichen Umfeld sicherzustellen, wurden Tageswerte einer Station mit den Tageswerten von vordefinierten Referenzstationen verglichen, deren Anzahl variierte.

 

6. Zusätzliche Nachprozeduren:

Für diesen Prüfprozeß wurden von uns einige eigenständige Anwendungsprogramme entwickelt, wie z.B. Prüfsoftware für Schnee oder Globalstrahlung.Bei der praktischen Anwendung dieser Softwareprogramme, welche auf räumlichen und statistischen Testalgorithmen basieren, wurden viele „Ausreißer“ und Fehler entdeckt, gekennzeichnet und automatisch oder manuell korrigiert. Eine während dieses Projektes entwickelte Prüfungssoftware wird gegenwärtig als fester Bestandteil des Datenprüfprozesses in der Datenprüfung an der ZAMG verwendet.

 

 

Die häufigsten Schwierigkeiten der Datenprüfung entstehen durch:

 

• Eingabefehler beim Digitalisieren von alten Klimabögen
• Inhomogene Zeitreihen, welche sich durch den fortlaufend veränderten Standort der Station ergeben, z.B. wachsende Bäume in der Umgebung der Klimahütten
• Technischer Ausfall der Sensoren
• Systematische Messabweichungen der Sensoren, verursacht durch Umwelteinflüsse, z.B. können im Winter die Sensoren vereisen bzw. vom Schnee bedeckt werden, wodurch Datenausfälle entstehen können. In diesen Fällen, muß der Betreuer der Station die Sensoren kontrollieren und gegebenenfalls wieder aktivieren.

 

Dies ist nur ein kleiner Einblick in die Problematik, mit der die Klimadatenprüfung  jeden Tag aufs Neue herausgefordert wird.

 

 

Für dieses Projekt wurden von insgesamt 1460 Stationen Datensätze für den Zeitraum 01.01.1981 bis 31.12.2010 auf Tagesbasis geprüft. Lediglich für einige ausgewählte Referenzstationen, die man auch „Schlüsselstationen“ nennt, wurden die gesamten vorhandenen Zeitreihen getestet, um sie anschließend für die Datenhomogenisierung zu verwenden. (siehe auch Abschnitt Datenhomogenisierung).

Insgesamt wurden von den erfaßten Datensätzen (~584 Millionen Werte) ~1,14% der Datenmenge als zweifelhaft ausgegeben und ~1% der Datenmenge entweder manuell oder automatisch korrigiert.

 

 Abb.1: Gesamter Datensatz, fragwürdige Datenmenge (~1,14%), korrigierte Datenmenge (~1%)

 

 

Welche Parameter am häufigsten korrigiert wurden, zeigt das folgende Diagramm. Dazu zählen der Niederschlag, das Temperaturminimum, das Temperaturmaximum, die Temperatur, der Schnee, der Neuschnee und die Globalstrahlung.  Aber Vorsicht, nicht alle Klimatologischen Stationen messen auch alle Parameter.

 

Abb.2: Parameterbeschreibung: t: mittlere tägliche 2m Lufttemperatur, t07/14/19: Lufttemperatur um 07 MOZ/14 MOZ/19 MOZ, tmin: tägliches Minimum der2 m Lufttemperatur, tmax: tägliches Maximum der 2 m Lufttemperatur,  tf: Feuchttemperatur, t5min: 5 cm Temperatur, rel: mittlere tägliche relative Feuchte, rel07/14/19: Relative Feuchte um 07 MOZ/14 MOZ/19 MOZ, vap: mittlere tägliche Dampfdruck, vap07/14/19: Dampfdruck um 07 MOZ/14MOZ/19MOZ, p: Stationsdruck, clc: mittlere tägliche Bewölkung, glo: tägliche Summe der Globalstrahlung, sund: Sonnenscheindauer (0-24 MOZ),  rrr: Regen (24h),  rrt: Niederschlagsart,  snow: Gesamtschneehöhe, nsnow: Neuschneehöhe

 

 

Der Niederschlag gehört zu einer der größten Herausforderungen der Klimadatenprüfung, einerseits kann dieser als ein sehr lokales Phänomen auftreten, wie z.B. bei Gewitter, andererseits aber auch als großflächiges Ereignis, welches über mehrere Tage andauern kann. Auch die Ländertopographie, hier im speziellen die Berg- und die Tallandschaften der Alpen, beeinflußt den Datenprüfprozeß wesentlich und erfordert große Erfahrung in der Datenprüfung.

 

Schlußendlich wurden die fehlerbereinigten und als endgeprüft klassifizierten Zeitreihen für die Datengrundlage von Homogenitätstests, für kartographische Darstellungen, für Klimavariabilitätsstudien und für die Extremwertanalysen verwendet.