FFG Projektdatenbank

zurück

FIRE-SAT

artiFicial Intelligence on eaRth obsErvation SATellites

Projektbeschreibung

Künstliche Intelligenz (KI) und die Entwicklung von (Konstellation von) Raumfahrzeugen mit kleinem Formfaktor sind in jüngster Zeit zwei wichtige technologische Paradigmenwechsel. Durch deren Kombination und die Implementierung künstlicher Intelligenz an Bord von Satelliten und Raumsonden können Einschränkungen aufgrund von Datenübertragungsraten und Zeitverzögerung beseitigt und damit völlig neue Fähigkeiten für Weltraummissionen ermöglicht werden. Solche neuartigen KI-fähigen Weltraummissionsszenarien könnten insbesondere zu wirksamen Instrumenten werden, um - vor dem Hintergrund des Klimawandels und der Artenverlustkrise - durch die rasche Detektion von Umweltkatastrophen wie z.B. Waldbrände, (Öl-) Verschmutzung, Zerstörung von Lebensräumen, zur Erreichung der Ziele für nachhaltige Entwicklung (SDG) beizutragen. Zu diesem Zeitpunkt befindet sich die Prozessierung von Daten an Bord von Erdbeobachtungssatelliten durch maschinelle Lernalgorithmen jedoch noch in einem Forschungs- und Entwicklungsstadium, das durch erste Demonstrationen von Verarbeitungsfähigkeiten und experimentelle Satelliten, einschließlich der ESA Missionen Phi-SAT#1/2 und OPS-SAT sowie Entwicklungen von „NewSpace“ Start-Ups, gekennzeichnet ist.
Das vorgeschlagene Projekt von Silicon Austria Labs sowie den Partnern OroraTech und Joanneum Research zielt darauf ab, einen Proof-of-Concept zu realisieren, der die Realisierbarkeiten einer onboard-KI-fähigen Erdbeobachtungsmission untersucht. Im Projekt FIRE-SAT werden maßgeschneiderte state-of-the-art Methoden des maschinellen Lernens auf operationellen Satelliten angewendet, um die Analyse von RGB-Bilddaten an Bord für ein Anwendungsexperiment in der satellitenbasierten Branderkennung zu ermöglichen. Als Satelliten für die Flugexperimente dienen die OPS-SAT-Mission der ESA (sonnensynchrone 3U-CubeSat-Umlaufbahn entlang der Dämmerungsgrenze, gestartet 2019), die eine experimentelle Plattform für registrierte Benutzer bietet, um neue Ideen in Missionsszenarien und -operationen zu testen, sowie ein Satellit der "NewSpace" Firma OroraTech. In den Flugexperimenten werden Live-Kamerabilder der Satelliten an Bord von entsprechend trainierten und mittels Field-Programmable-Gate-Array(FPGA)-implementierten, bzw. Graphics-Processing-Unit(GPU)-implementierten, ressourcenbeschränkten, künstlichen neuronalen Netzen auf das Vorhandensein von Rauchfahnen analysiert. Das „NewSpace“-Unternehmen OroraTech, ein Anbieter von Waldbranderkennungsdiensten, sowie Entwickler einer CubeSat-konstellation, ist internationaler Partner im Projekt und trägt durch seine umfassende Expertise in Bezug auf Anwendungsfälle und Daten bei. Darüber hinaus wird durch die Teilnahme von OroraTech, über die OPS-SAT-Mission hinaus die Verfügbarkeit eines Satelliten, der optisch kompatibel und in Bezug auf die Verarbeitungshardware (GPU vs. FPGA) komplementär ist, ermöglicht. Die im Projekt entwickelten Methoden stellen einen holistischen Ansatz dar, der die Machbarkeit der Datengenerierung (Trainings-/Validierungsdatensatz), des Modellierungs- und Anwendungskonzeptes für maschinelles Lernen, sowie die Implementierung auf ressourcenbeschränkter eingebetteter Hardware für eine Erdbeobachtungsmission untersucht, die durch KI an Bord erst ermöglicht wird. Eine wesentliche Voraussetzung für die Geolokalisierung erkannter Artefakte oder die Erkennung von Veränderungen auf der Basis multi-temporaler Aufnahmen ist die präzise onboard-Geokodierung von Datensätze. FIRE-SAT umfasst daher die Arbeit von Joanneum Research bezüglich Hochleistungs-Geokodierungsalgorithmen die für einen Einsatz direkt auf Satelliten geeignet sein könnten. Für den Fall, dass das FIRE-SAT Projekt vielversprechende Ergebnisse liefert, ist geplant diese in einem F&E&I Nachfolgeprojekt mit dem Anwendungsfall der satellitenbasierten Detektion von Landschaftsbedeckungsänderungen weiterzuführten.

Abstract

Artificial Intelligence (AI) and the development of (constellations of) space crafts with small form factor have been two important technological paradigm shifts in recent times. Combining them and bringing AI on board of satellites and space probes has the potential to remove limitations due to data transmission bandwidth and time delay and thereby enable completely new space mission capabilities. Such novel AI-enabled space mission scenarios could, in particular, become powerful tools to contribute towards achieving the sustainable development goals (SDG) against the backdrop of the climate change and species loss crises by detecting and timely alerting the onset of environmental catastrophes such as wildfires, (oil) pollution, habitat destruction, etc. At this point however, machine-learning-based processing of data on board of earth observation (EO) satellites is still very much in a research and developing stage, characterized by first demonstrations of processing capabilities and experimental satellites, including ESA’s Phi-SAT#1/2 and OPS-SAT missions, as well as, developments by “NewSpace” start-ups.
The proposed project by Silicon Austria Labs and its partners OroraTech and Joanneum Research aims at realizing a proof-of-concept that explores feasibilities of an onboard-AI-enabled responsive EO mission. In FIRE-SAT tailored state-of-the-art machine-learning methodologies are deployed to operational satellite sensors to process RGB imaging data onboard for a remote fire detection use case. The satellites for the in-flight experiment are ESA's OPS-SAT mission (sun-synchronous dawn/dusk orbit 3U CubeSat launched 2019), which provides an experimental platform for registered users to test new ideas in mission scenarios and operations, and a satellite of the “NewSpace” company OroraTech. In in-flight experiments, the satellites’ live camera images are analysed onboard for the presence of smoke plumes by suitably trained and FPGA/GPU-implemented resource-constrained convolutional neural networks. In this regard the participation of the “NewSpace” company OroraTech – a provider of wildfire information services and a developer of a dedicated CubeSat constellation – as an international partner in the collaborative exploratory project, not only contributes in-depth use case & data expertise, but adds unique value to the project in terms of satellite availability and ecosystem beyond the OPS-SAT mission with a satellite that is optically compatible and complementary with respect to processing hardware (GPU vs. FPGA). The methodologies developed in the course of the project represent an approach that holistically investigates the feasibility of acquisition/generation of suitable data (training/validation set), machine learning modelling & experiment application concept and software development and the implementation on resource-constrained embedded hardware aspects of an EO mission enabled by onboard AI. An inevitable prerequisite for the onboard geolocation of detected (fire) events or the onboard detection of changes in multi-temporal acquisitions is the precise geocoding of data using the spacecraft’s processing hardware. FIRE-SAT thus includes work on high-performance, onboard geocoding capabilities by Joanneum Research. If the project delivers promising results, it is planned to continue the work in an R&D&I project with the use cases of onboard land-cover change detection.

zurück