FFG Projektdatenbank

zurück

SMAIL

Super-resolution-based Monitoring through AI for small Land parcels

Projektbeschreibung

Remote Sensing (RS) ist eine der Schlüsseltechnologien für die Überwachung von Umwelt und Klima. Frei verfügbare Satellitendaten der Landsat-Missionen oder des europäischen Copernicus-Programms werden genutzt, um Informationen in globalem Maßstab zu gewinnen. Schwierigkeiten treten hingegen bei der Beobachtung lokaler Phänomene auf, etwa der Überwachung der Vegetation, des Bodens oder der Biodiversität. Bisherige Versuche, diese Satellitendaten für die Landwirtschaft in sehr lokalem Maßstab zu nutzen, waren mäßig erfolgreich, was häufig auf die grobe Abtastrate des Bodens (10–60 m bei Sentinel-2) zurückgeführt wird. Allein in Österreich sind rund ein Drittel aller landwirtschaftlichen Flächen zu klein oder zu zerklüftet, um bei dieser Auflösung genau nach Kulturarten oder Ernteereignissen analysiert werden zu können, was zu einer hohen Fehlerquote bei der automatischen Verarbeitung führt.

Eine mögliche Lösung dieses Problems bietet die Super-Resolution Reconstruction (SRR), die Verbesserung von Bilddaten durch künstliche Intelligenz. Die Literatur kennt eine Vielzahl von Ansätzen dafür, doch jüngste Studien zeigen erhebliche systematische Mängel bei der Bewertung vieler dieser Lösungen auf, etwa durch die ausschließliche Verwendung von Bildähnlichkeitsmetriken. Oft ist unklar, ob SRR-Ergebnisse tatsächlich die Leistung nachfolgender Aufgaben wie multispektrale Klassifizierung und Zeitreihenanalyse steigern oder ob die Super-Resolution rein ästhetisch ist. Zwar gibt es Ansätze, den SRR-Schritt mit einer nachfolgenden Lernaufgabe zu verbinden, diese Methoden sind jedoch auf andere Anwendungen zugeschnitten und arbeiten meist nur auf den RGB-Bildkanälen. Sie eignen sich daher nicht für multispektrale Bilder wie die Sentinel-2-Daten und schaffen damit keinen Mehrwert für diese Daten, die der Öffentlichkeit und der akademischen Gemeinschaft zur Verfügung stehen.

Unser Ziel in diesem Projekt ist, die Überwachung kleinstrukturierter landwirtschaftlicher Flächen in RS-Anwendungen mit frei verfügbaren Daten zu ermöglichen. Wir integrieren eine KI-gestützte SRR in landwirtschaftliche Überwachungsabläufe, um die begrenzte räumliche Auflösung der Daten für konkrete Aufgaben zu umgehen. Zu diesem Zweck streben wir eine aufgabenbasierte SRR für Zeitreihen multispektraler Sentinel-2-Bildern an, deren Informationsgehalt mit dem kommerzieller RS-Daten vergleichbar ist. Das Ergebnis wird anhand der spektralen Datenqualität und der Erfolgsrate nachfolgender Arbeitsschritte in etablierten landwirtschaftlichen Überwachungsabläufen bewertet. Durch die Betrachtung von Aufgaben wie die Klassifizierung von Kulturpflanzen und die Erkennung von Mäh- und Ernteereignissen entwickeln wir eine Lösung, die Bilder nicht nur optisch aufwertet, sondern auch Aufgaben löst, die bisher mit Sentinel-2-Daten als unmöglich galten. Dadurch wird die Überwachung von Anbauprozessen unterstützt, die für die Umstellung auf ein nachhaltigeres System der landwirtschaftlichen Produktion im Sinne des Europäischen Green Deals erforderlich sind. Darüber hinaus können die abgeleiteten Vegetations- und Bodendaten als Grundlage für genauere Umweltsimulationen zur Anpassung an den Klimawandel dienen, was wir anhand von Parameterschätzungen für eine verbesserte Modellierung von Hochwasser und Starkregen demonstrieren.

Abstract

Remote Sensing (RS) is one of the key technologies for monitoring the environment and climate. Freely available satellite data from the Landsat missions or the European Copernicus program are used to obtain information on a global scale. Difficulties arise, however, when observing local phenomena, such as monitoring vegetation, soil, or biodiversity. Previous attempts to use these satellite data for agriculture on a very local scale have achieved mixed results, often attributed to the high ground sampling distance (10–60 m for Sentinel-2). In Austria alone, about one-third of all agricultural land is too small or fractured to be analyzed accurately for crop types or harvest events at this resolution, leading to a high error rate in automated processing.

One possible solution to this problem is Super-Resolution Reconstruction (SRR), the enhancement of image data by artificial intelligence. There are a variety of approaches to this in the literature, but recent studies reveal significant systematic flaws in the evaluation of many of these approaches, such as the exclusive use of image similarity metrics. It is often unclear whether SRR results actually enhance the performance of subsequent tasks such as multispectral classification and time series analysis or whether super-resolution is purely aesthetic. While there are approaches to combine the SRR step with a subsequent learning task, these approaches are tailored to other applications and usually work only on the RGB image channels. They are therefore not suitable for multispectral imagery such as the Sentinel-2 data and, thus, do not add value to these data available to the public and academic community.

Our goal in this project is to enable monitoring of small-structured agricultural land in RS applications with freely available data. We integrate AI-based SRR into agricultural monitoring workflows to circumvent the limited spatial resolution of data for specific tasks. We aim for a task-based SRR for time series of multispectral Sentinel-2 imagery with an information content comparable to commercial RS data. The output will be evaluated in terms of spectral data quality and the success rate of subsequent work steps in established agricultural monitoring workflows. By considering tasks such as crop type classification and detection of mowing and harvest events, we will arrive at a solution that enhances images not for their visual appeal but for solving tasks previously considered impossible with Sentinel-2 data. This will support the monitoring of ecological cultivation processes needed to shift to a more sustainable system of agricultural production in line with the European Green Deal. In addition, the derived vegetation and soil data can serve as the basis for more accurate environmental simulations for climate change adaptation, which we demonstrate with parameter estimation for improved flood and heavy rain modeling.

zurück