FFG Projektdatenbank

zurück

Cam2Sat

In situ sky camera network for complementing satellite cloud detection

Projektbeschreibung

Die präzise Wolkenmaskierung ist einer der wichtigsten, aber auch schwierigsten Schritte in der Prozessierungskette von optischen Satellitenbildern. Wolkenmasken werden benötigt, um entweder unerwünschte Pixel zu eliminieren oder um atmosphärische Phänomene zu beobachten. Obwohl zahlreiche Methoden entwickelt wurden, um die Genauigkeit der Wolkenmasken zu erhöhen, treten aufgrund der Vielfalt der Wolkentypen und Eigenschaften der Landschaft immer noch verschiedene Schwierigkeiten und Verzerrungen auf. Noch wichtiger ist, dass es schwierig ist, die Leistung von Algorithmen zur Wolkenerkennung effektiv zu vergleichen, da es keine unabhängige Quelle für Wolkenmasken gibt, was den Bedarf an ergänzenden Daten zur Validierung von Erdbeobachtungsprodukten erhöht.

Cam2Sat zielt darauf ab, diese Lücke zu schließen, indem Referenzdatensätze für den Vergleich von Algorithmen zur Wolkenerkennung auf Satellitenbildern bereitgestellt werden. Diese Machbarkeitsstudie wird in Zusammenarbeit mit Atmosphärenforschungsinstituten (Sonnblick Observatorium & Hyytiala Feldstation) und dem Fachbereich Geoinformatik - Z_GIS der Universität Salzburg (PLUS-ZGIS) das optimale Zusammenspiel von Hardware und Software für ein solches Netzwerk durch den Vergleich von kollokierten Kameramodellen und die prototypische Entwicklung von Software zur Ergänzung von Sentinel-2-Bildern untersuchen und damit den grundlegenden Konzeptnachweis für ein weitere F&E-Projekte erbringen.

Diese Studie basiert auf der Arbeit von drei finanzierten Projekten: 1) ESA BIC Austria, wo selbstgebaute Instrumente für Himmelskameras getestet wurden, 2) Subak Gemeinschaft, in der ein handgefertigter, qualitativ hochwertiger, annotierter Datensatz für die Erkennung von Wolken in Himmelsbildern entwickelt wird, und 3) Sen2Cube.at (ASAP 18), ein Erdbeobachtungsdaten- und Informationswürfel (semantischer EO-Datenwürfel), der den Copernicus Datenzugang auf einer höheren semantischen Ebene für alle Sentinel-2 Bilder in Österreich ermöglicht.

Ein Hauptmerkmal des Himmelskamerasystems ist ein robuster Wolkendetektor für alle Szenarien. Der Wolkendetektor wird auf Basis eines Benchmarks von zwei Ansätzen ausgewählt: 1) DeepCloud, ein auf Deep Learning basierendes neuronales Convolutional Neural Network zur semantischen Segmentierung, und 2) RGBIAM, eine wissensbasierte Software zur Berechnung einer pixelweisen Klassifizierung von Himmel und Wolkenklassen.

Cam2Sat hat das Potenzial, ein europaweites Netzwerk von Himmelsbeobachtungskameras aufzubauen, um das Wissen über die hyperlokale Variabilität der Wolkenbedeckung zu erweitern und Interessengruppen im Bereich der Erdbeobachtung zu unterstützen. Der Nachweis der Machbarkeit eines solchen Netzwerks wird die In-situ-Komponente von Copernicus stärken und gleichzeitig die damit verbundene klimatologische Unsicherheit der Bewölkung im Einklang mit dem Green Deal der Europäischen Kommission und der digitalen Strategie Destination Earth minimieren.

Abstract

Precise cloud masking is one of the most relevant yet challenging processing steps in optical satellite imagery either as a technique to eliminate undesired pixels or as a way to monitor atmospheric phenomena. Although multiple methods have been developed to improve the accuracy of cloud detection models, various difficulties and biases are still encountered due to the diversity of cloud types and surface landscapes. More importantly, it is challenging to effectively compare the performance of cloud detection schemes due to the lack of an independent ground truth source of cloud masks, raising the need for complementary data to validate Earth Observation (EO) products.

Cam2Sat aims to fill this gap by providing reference datasets for benchmarking satellite cloud detection algorithms through the long-term goal of deploying a European-wide in-situ sky camera network. This feasibility study in cooperation with atmospheric research institutions (ZAMG Sonnblick Observatory and Hyytiala Forestry field station) and the Department of Geoinformatics - Z_GIS at the University of Salzburg (PLUS-ZGIS) will investigate the optimal hardware/software interplay for such a network through the comparison of collocated camera models and prototypical software development to complement Sentinel-2 imagery, hence establishing the foundational proof of concept for a further R&D project.

This study is based upon the work of three funded projects: 1) ESA BIC Austria, where self-built sky camera instruments have been tested 2) Subak fellowship, in which a handcrafted high-quality annotated dataset for cloud detection in sky imagery is under development, and 3) Sen2Cube.at (ASAP 18), an EO data and information cube (semantic EO data cube) enabling Copernicus data access on a ​​higher semantic level for all Sentinel-2 images in Austria.

A core feature of the sky camera system is a robust all-scenario cloud detector which will be selected after comparing the performance of two approaches: 1) DeepCloud, a deep learning-based convolutional neural network architecture for semantic segmentation, and 2) RGBIAM, a knowledge-based software to compute a pixel-wise classification of sky and cloud classes.

Cam2Sat holds the potential to establish a European-scale network of sky imagers to increase knowledge about hyperlocal cloud cover variability for supporting stakeholders in the EO domain. Demonstrating the feasibility of such a network will strengthen the in situ component of Copernicus while minimizing the associated climatological uncertainty of cloudiness in alignment with the European Commission's Green Deal and the Digital Strategy Destination Earth.

zurück