FFG Projektdatenbank

zurück

Cam2Sat

In situ sky camera network for complementing satellite cloud detection

Projektbeschreibung

Die präzise Wolkenmaskierung ist einer der wichtigsten, aber auch schwierigsten Schritte in der Prozessierungskette von optischen Satellitenbildern. Wolkenmasken werden benötigt, um entweder unerwünschte Pixel zu eliminieren oder um atmosphärische Phänomene zu beobachten. Obwohl zahlreiche Methoden entwickelt wurden, um die Genauigkeit der Wolkenmasken zu erhöhen, treten aufgrund der Vielfalt der Wolkentypen und Eigenschaften der Landschaft immer noch verschiedene Schwierigkeiten und Verzerrungen auf. Noch wichtiger ist, dass es schwierig ist, die Leistung von Algorithmen zur Wolkenerkennung effektiv zu vergleichen, da es keine unabhängige Quelle für Wolkenmasken gibt, was den Bedarf an ergänzenden Daten zur Validierung von Erdbeobachtungsprodukten erhöht.

Cam2Sat zielt darauf ab, diese Lücke zu schließen, indem Referenzdatensätze für den Vergleich von Algorithmen zur Wolkenerkennung auf Satellitenbildern bereitgestellt werden. Diese Machbarkeitsstudie wird in Zusammenarbeit mit Atmosphärenforschungsinstituten (Sonnblick Observatorium & Hyytiala Feldstation) und dem Fachbereich Geoinformatik - Z_GIS der Universität Salzburg (PLUS-ZGIS) das optimale Zusammenspiel von Hardware und Software für ein solches Netzwerk durch den Vergleich von kollokierten Kameramodellen und die prototypische Entwicklung von Software zur Ergänzung von Sentinel-2-Bildern untersuchen und damit den grundlegenden Konzeptnachweis für ein weitere F&E-Projekte erbringen.

Diese Studie basiert auf der Arbeit von drei finanzierten Projekten: 1) ESA BIC Austria, wo selbstgebaute Instrumente für Himmelskameras getestet wurden, 2) Subak Gemeinschaft, in der ein handgefertigter, qualitativ hochwertiger, annotierter Datensatz für die Erkennung von Wolken in Himmelsbildern entwickelt wird, und 3) Sen2Cube.at (ASAP 18), ein Erdbeobachtungsdaten- und Informationswürfel (semantischer EO-Datenwürfel), der den Copernicus Datenzugang auf einer höheren semantischen Ebene für alle Sentinel-2 Bilder in Österreich ermöglicht.

Ein Hauptmerkmal des Himmelskamerasystems ist ein robuster Wolkendetektor für alle Szenarien. Der Wolkendetektor wird auf Basis eines Benchmarks von zwei Ansätzen ausgewählt: 1) DeepCloud, ein auf Deep Learning basierendes neuronales Convolutional Neural Network zur semantischen Segmentierung, und 2) RGBIAM, eine wissensbasierte Software zur Berechnung einer pixelweisen Klassifizierung von Himmel und Wolkenklassen.

Cam2Sat hat das Potenzial, ein europaweites Netzwerk von Himmelsbeobachtungskameras aufzubauen, um das Wissen über die hyperlokale Variabilität der Wolkenbedeckung zu erweitern und Interessengruppen im Bereich der Erdbeobachtung zu unterstützen. Der Nachweis der Machbarkeit eines solchen Netzwerks wird die In-situ-Komponente von Copernicus stärken und gleichzeitig die damit verbundene klimatologische Unsicherheit der Bewölkung im Einklang mit dem Green Deal der Europäischen Kommission und der digitalen Strategie Destination Earth minimieren.

Abstract

Precise cloud masking is one of the most relevant yet challenging processing steps in optical satellite imagery either as a technique to eliminate undesired pixels or as a way to monitor atmospheric phenomena. Although multiple methods have been developed to improve the accuracy of cloud detection models, various difficulties and biases are still encountered due to the diversity of cloud types and surface landscapes. More importantly, it is challenging to effectively compare the performance of cloud detection schemes due to the lack of an independent ground truth source of cloud masks, raising the need for complementary data to validate Earth Observation (EO) products.

Cam2Sat aims to fill this gap by providing reference datasets for benchmarking satellite cloud detection algorithms through the long-term goal of deploying a European-wide in-situ sky camera network. This feasibility study in cooperation with atmospheric research institutions (ZAMG Sonnblick Observatory and Hyytiala Forestry field station) and the Department of Geoinformatics - Z_GIS at the University of Salzburg (PLUS-ZGIS) will investigate the optimal hardware/software interplay for such a network through the comparison of collocated camera models and prototypical software development to complement Sentinel-2 imagery, hence establishing the foundational proof of concept for a further R&D project.

This study is based upon the work of three funded projects: 1) ESA BIC Austria, where self-built sky camera instruments have been tested 2) Subak fellowship, in which a handcrafted high-quality annotated dataset for cloud detection in sky imagery is under development, and 3) Sen2Cube.at (ASAP 18), an EO data and information cube (semantic EO data cube) enabling Copernicus data access on a ​​higher semantic level for all Sentinel-2 images in Austria.

A core feature of the sky camera system is a robust all-scenario cloud detector which will be selected after comparing the performance of two approaches: 1) DeepCloud, a deep learning-based convolutional neural network architecture for semantic segmentation, and 2) RGBIAM, a knowledge-based software to compute a pixel-wise classification of sky and cloud classes.

Cam2Sat holds the potential to establish a European-scale network of sky imagers to increase knowledge about hyperlocal cloud cover variability for supporting stakeholders in the EO domain. Demonstrating the feasibility of such a network will strengthen the in situ component of Copernicus while minimizing the associated climatological uncertainty of cloudiness in alignment with the European Commission's Green Deal and the Digital Strategy Destination Earth.

Endberichtkurzfassung

The Cam2Sat project successfully developed and deployed an advanced all-sky imaging system for ground-based cloud detection and satellite validation. The project focused on hardware development , software implementation , and data synchronization with satellite imagery to enhance cloud detection capabilities.

Key Achievements


Hardware Development:


Three prototype versions of all-sky cameras were designed, built, and installed at five research institutions in different climate zones.
The systems were optimized for low-power operation (~12W active, ~2W standby) and autonomous deployment .
The initial plan to procure commercial cameras was reevaluated , leading to a strategic shift towards in-house camera development.



Software Development:


A fully automated image processing pipeline was implemented, integrating rule-based (RGBIAM) and deep-learning (U-Net) cloud detection models .
Over 400+ synchronized satellite-ground image pairs were collected to evaluate cloud detection accuracy.
The software was optimized for real-time edge computing , enabling onboard AI-based cloud segmentation.



Scientific Contribution & Validation:


The system was deployed in multiple climate zones to study cloud variability, supporting climate research, energy forecasting, and atmospheric monitoring .
Cloud detection methods were validated against existing sky cameras at SIRTA and LMU without requiring additional commercial acquisitions.
Project results were disseminated at scientific conferences , including the ASI Workshop 2025 (Rosenheim, Germany) , where Paul Matteschk presented the hardware development, and an abstract was submitted to AGIT 2025 (Salzburg, Austria) for a poster presentation.



Sustainability & Future Impact:


The project established a low-cost, energy-efficient alternative to conventional cloud observation methods such as lidar and radar.
The groundwork was laid for future network expansion , integrating cameras with climate models and renewable energy forecasting.
The results support satellite calibration, cloud climatology studies, and improved solar power forecasting , contributing to long-term sustainability.




Outlook

The project provides a strong foundation for future research and applications , including:


Expansion of the all-sky camera network to high-altitude and northern European regions for more diverse climate monitoring.
Integration with climate models to improve cloud parameterization and support renewable energy forecasting .
Open-access data to enhance aerosol-cloud interaction studies and climate resilience efforts .

The Cam2Sat project has demonstrated the feasibility of ground-based sky imaging for cloud detection validation , paving the way for further scientific advancements and operational deployment .

zurück