GRASP Cloud
Universal Satellite Retrieval Cloud
Programm / Ausschreibung | Beyond Europe, Beyond Europe, 1. AS Beyond Europe Koop. F&E 2015 | Status | abgeschlossen |
---|---|---|---|
Projektstart | 01.03.2017 | Projektende | 31.05.2019 |
Zeitraum | 2017 - 2019 | Projektlaufzeit | 27 Monate |
Keywords | Cloud, Atmosphere, Algorithms, Satellite, Remote Sensing |
Projektbeschreibung
Die Ermittlung von Aerosol- und Erdoberflächeneigenschaften sind die Basis für globale Wetter- und Klima-Modellierung. Derzeit werden nur grobe Näherungswerte in den Modellen verwendet. Das schränkt die Zuverlässigkeit der Modelle stark ein.
GRASP ist der führende Algorithmus für Aerosol- und Erdoberflächen-Parameter. Seine Stärke liegt in der physikalischen Modellierung, die ihn vom herkömmlichen Lookup-Table-Algorithmen unterscheidet. Er ist hochpräzis, umfassend (ermittelt 50 Parameter), für verschiedenste Gegebenheiten geeignet (inkl. Wasser, Küste, Wald, Wüste oder Schnee), benötigt keine nicht physikalisch begründeten Annahmen oder Kalibrierung und funktioniert mit Daten von unterschiedlichen Fernerkundungsinstrumenten.
Zudem erreicht GRASP durch seine Softwarearchitektur vergleichbare Laufzeiten mit den weit weniger mächtiger Algorithmen und ist von Entwicklernotebooks bis zu Supercomputer-Clustern auf heterogener Hardware ausführbar. GRASP hat sich in Projekten mit der ESA (Europa) und CNRS (Frankreich) auch mit globalen Datenmengen bewährt. GRASP definiert den Stand der Technik. Um sein volles Potenzial zu heben, auch weltweit und nicht nur in Europa eingesetzt zu werden, müssen jedoch einige Herausforderungen bewältigt werden:
● Umgang mit Petybyte Datenmengen, die verteilt bei den Raumfahrtagenturen gespeichert sind.
● Einbindung anderer Instrument von Satelliten.
● Synergien aus der Kombination mit anderen Datenquellen zu nutzen.
Ziel der vorgeschlagenen GRASP Cloud ist es, den besten Algorithmus auf seinem Gebiet einer globalen Community von Wissenschaftlern, Raumfahrtagenturen und Unternehmen zugänglich zu machen mittels einer breit nutzbaren ergonomischen Plattform, die Zugriff auf Produkte, Werkzeuge zur Forschung und Entwicklung, sowie Kapazität für operativen Betrieb bereitstellt. Eingebettet in eine Cloud Umgebung kann der Algorithmus Open Source sein, troztdem kann Catalysts damit Geld verdienen.
In diesem Projekt kooperieren Raumfahrtagenturen und führende Principal Investigators aus den USA, Japan und China als Partner, um folgende Ziele zu erreichen,
● Daten unterschiedlicher Instrumente zu verarbeiten, wie die von NASA (MODIS, MIRS), JAXA (Himawari, SGLI/GCOM), aus Europa (Parasol, Meris, S2, S3, Seviri, AVHRR) und China (PM2.5, CrossFire);
● mehrere Datenquellen zu kombinieren, um Genauigkeit, Anzahl der Parameter und räumlich-zeitliche Auflösung zu verbessern
● GRASP in einer Cloud zu betreiben, damit sich Wissenschafter auf das Wesentliche fokussieren können
● global verteilt die Daten direkt vor Ort zu verarbeiten und simultan ein kombiniertes Produkt zu errechnen.
Der Nutzen der GRASP Cloud kann wie folgt zusammengefasst werden: Indem sie ungehinderten Zugang zu allen für ihre Arbeit nötigen Ressourcen haben, können sich wissenschaftliche Teams, Raumfahrtagenturen, meteorologische Dienste, Bereitsteller hochwertiger Datenprodukte usw. auf deren je spezifisches Interesse fokussieren. Catalysts will GRASP weltweit zur Verfügung stellen, damit Geld verdienen und GRASP den Weg in das neue Jahrzehnt ebnen.
Abstract
The retrieval of aerosol and surface properties from a wide variety of satellite, airborne and surface measurements is a cornerstone for advanced meteorological and global climate modelling.
GRASP is the leading algorithm therein, its power coming from an accurate physical modeling, which distinguishes it from the traditional lookup table approach: it is highly accurate, effective (infers 50 parameters), suitable for different surface conditions (including water, shore, forest, deserts or snow), needs no upfront assumptions or calibration, and works with different input sources from remote sensing instruments. Additionally, its software architecture allows GRASP to run comparable fast as far less powerful algorithms and to run on heterogeneous hardware ranging from development notebooks to supercomputer clusters. These properties have already proved successful within ESA (Europe) and CNRS (France) projects on large global data sets. GRASP defines the state of the art in satellite retrievals.
In order to leverage its full potential, however, several challenges have to be addressed:
● The amount of involved data requires huge storage capacities and processing resources.
● Adding support for a new instrument without any a-priori knowledge can be a tedious task.
● There is no trivial way to exploit synergies drawn from combination with other data sources.
The goal of the proposed GRASP Cloud is to make the best algorithm in its domain available to a global community of scientists, agencies and companies on a widely usable ergonomic platform that provides product access, exploration, development, and processing capacities. This project includes space agencies and leading principal investigators (PIs) from the US, Japan and China as partners to demonstrate that GRASP can
● process data from multiple instruments like NASA (MODIS, MIRS), JAXA (Himawari, SGLI/ GCOM), Europe (Parasol, Meris, S2, S3, Seviri, AVHRR) and China (PM2.5, CROSSFIRE);
● combine multiple data sources to improve accuracy and spatial-temporal resolution;
● run in a cloud, open for worldwide contributions from scientists and algorithm developers;
● run globally distributed directly at the data and simultaneously produce a combined product.
This will cover virtually all aspects of the GRASP Cloud platform to be developed (like prototyping, visualization, agile software development, verification/validation, data provisioning, operational processing etc.).
By providing the GRASP Cloud as an integrated platform combining ease of accessing and sharing data and algorithms, efficiency of straightforward and experimental development, high availability of data processing resources, we expect a significant increase of productivity within the worldwide aerosol and surface community. GRASP is open source software with flexible modular structure that is convenient for testing alternative ideas in different aspects of atmosphere properties retrievals from diverse satellites sensor with different observational capabilities. Therefore, the GRASP Cloud can become an open platform for large scale worldwide research collaborations on testing and verifying alternative scientific and technical aspect of algorithm implementations, as well as, proposing and discussing, new retrieval concepts and approaches for interpretation of satellite and overall remote sensing observations.
The benefits of using the GRASP Cloud can be summarized as follows: scientific groups, space agencies, meteorological services, advanced data product providers etc. can focus on their specific interests, having ready access to all essential resources required for their effective work.