FFG Projektdatenbank

zurück

Sen2Cube.at

Sentinel-2 Semantic Data Cube Austria

Projektbeschreibung

Basierend auf den Ergebnissen zweier Sondierungsstudien (AutoSentinel 2/3 [FFG ASAP] und SemEO [FFG IKT der Zukunft]) wird das Projekt Sen2Cube.at die automatische semantische Anreicherung der Sentinel-2-Daten des Copernicus-Programms evaluieren und in eine große Bilddatenbank für ganz Österreich hochskalieren. Gegenwärtig decken mehr als 3000 Sentinel-2 Szenen Österreich ab. Ziel ist es, damit einen österr. Daten- und Informationswürfel zu erstellen. Dieses Projekt verfolgt einen neuartigen und völlig anderen Ansatz für den Zugriff auf große Erdbeobachtungs(EO)-Bilddatenbanken, welcher semantische, inhaltsbasierte Bild- und Informationsabfragen durch die Zeit ermöglicht. Dies erlaubt Abfragen, die direkt mit dem Szeneninhalt oder der Inhaltsdynamik zusammenhängen, wie z.B. Änderung der primären Landbedeckung (z.B. Vegetation oder Gewässer) in einem benutzerdefinierten Bildbereich. Alle bisher verfügbaren öffentlichen EO-Bilddatenbanken (z. B. Copernicus Sentinel Data Hub, USGS Landsat) oder nationale Initiativen (z. B. Code: DE, PEPS, nationale Bodensegmente) erlauben nur Abfragen auf Metadatenlevel (z. B. Zeit/Ort der Datenaufnahme), nicht aber auf Bildinhalt oder Daten direkt, die dort als normale Dateien gespeichert werden und für weitere inhaltliche Analysen heruntergeladen werden müssen. Es gibt einige bestehende Initiativen die auch mit Datenwürfeln arbeiten (z. B. Australian Landsat Data Cube) und Bilddaten zur Analyse speichern, jedoch ohne zusätzliche inhaltliche Informationen. Im Gegensatz dazu, ermöglicht Sen2Cube.at Abfragen durch Raum und Zeit auf der Basis von automatisch generierten, semantischen Inhalten und wird das erste, in relevantem Maßstab demonstrierte SCBIR-System weltweit darstellen (Austrian data & information cube).
Die in Sen2Cube.at verwendete semantische Anreicherung erfolgt auf einer, auf physikalischen Modellen basierten, spektralen Kategorisierung und zusätzlich abgeleiteten Informationsebenen. Diese Prozesse werden vollautomatisiert und frei von jeglicher Benutzerparametrisierung für alle Sentinel-2-Bilder durchgeführt. Die abgeleiteten Informationsschichten werden zusammen mit den Bilddaten in Datenwürfeln gespeichert, wobei die dritte Dimension die Erfassungszeit darstellt. Dies erlaubt die Indexierung in der dritten Dimension (Zeit) für einen schnellen Zugriff, sowie für Informationsabfragen durch die Zeit, auf denen spezifische Dienste entwickelt werden. Demo-Dienste, die auf generischen Anwendungsfällen basieren, sollen die Innovations- und Anwendungsbreite von Sen2Cube.at aufzeigen. Diese sind (aber nicht beschränkt auf):
(1) semantisches Abfragen von Bildern, z.B. Identifizieren von wolkenfreien Bilddaten oder Bildern mit bestimmten Ereignissen für benutzerdefinierte;
(2) Erzeugen von wolkenfreien Mosaiken für benutzerdefinierte Zeiträume;
(3) Ermöglichung des ortsbezogenen Zugriffs auf Daten und Informationen durch die Zeit;
(4) Objektbasierte Statistiken, z.B. Parzellen-basierte Analyse von best. landwirtschaftlichen Flächen für spektrale und semantische Profile durch die Zeit.
Ein Inferenzmechanismus (inference engine) für erweiterte Abfragen wird Web-basiert in einer Client-Server-Lösung programmiert. Gesammelte Benutzeranforderungen werden in die Implementierung verschiedener Benutzeroberflächen oder unterschiedlicher Zugriffsebenen (z. B. öffentliche, benutzerspezifische Ansichten) umgesetzt. Sen2Cube.at bietet damit eine einzigartige, generische Kombination von Innovationen, die viele verschiedene Benutzer und Dienste bedienen kann.

Abstract

Based upon the results of two feasibility studies (AutoSentinel2/3 [FFG ASAP] and SemEO [FFG ICT of the Future]), Sen2Cube.at will evaluate and scale automated semantic enrichment of the Copernicus programme’s free and open Sentinel-2 data up to a big image database covering Austria. Currently more than 3000 Sentinel-2 scenes cover sections of Austria and the goal is to build an Austrian data & information cube. This project follows a novel and entirely different approach to accessing big Earth observation (EO) image databases, allowing semantic content-based image and information retrieval (SCBIR) through time. These spatial-temporal query capabilities facilitate searches directly related to scene content or content dynamics, such as changes to any primary land cover category of interest (e.g. water bodies) in a user-specified area-of-interest through time. Until now, all public EO image databases (e.g. Copernicus Sentinel Data Hub, USGS Landsat) or national initiatives (e.g. Code:DE, PEPS, national ground segments) have only allowed searches based on metadata (e.g. time and place of acquisition), not on image content or data directly, which are stored as flat files requiring download for further analysis. There are some existing data cube initiatives (e.g. Swiss data cube), which store image data for analysis through time, but without any added information. In contrast, Sen2Cube.at will enable queries through space and time based on automatically-generated semantic content to demonstrate the first SCBIR system in an operational mode within an Austrian data & information cube.
The semantic enrichment used in Sen2Cube.at is based on a physical-model-based, spectral categorisation (i.e. pre-classification) and additionally derived information. These processes will be fully automated and free of any user parametrisation. The derived information layers will be stored together with the image data in data cubes, implemented in array databases, where the third dimension is acquisition time. Data cube storage allows indexing through time for fast access and information queries through time, upon which specific services can be developed and applied given semantic enrichment of image data. Demo services, drawn from generic use cases and built upon the data & information cube, will demonstrate the benefits of Sen2Cube.at’s innovation, showing the approach’s broad application range, including:
(1) semantically querying images, e.g. identifying cloud-free image data or images with specific events/changes for user defined AOIs instead of simple metadata queries;
(2) generating cloud-free mosaics and composites for user defined timeframes;
(3) establishing location-based access to data and information through time;
(4) enabling object-based investigation, e.g. per-parcel statistics of defined agricultural fields for spectral and semantic profiles through time.
An inference engine for enhanced querying will be programmed as a Web interface in a client-server solution. Collected user requirements will inform this process and allow the implementation of different user interfaces addressing user needs and/or different access levels (e.g. public, user specific views). Sen2Cube.at offers a unique, generic combination of innovations that can serve many different users and services.

zurück