FFG Projektdatenbank

zurück

Mars-DL

Planetary Scientific Target Detection via Deep Learning

Projektbeschreibung

Planetare Robotermissionen enthalten visuelle Sensorik für verschiedene missionsspezifische und wissenschaftliche Aufgaben wie 2D- und 3D-Kartierung, geologische Charakterisierung, atmosphärische Untersuchungen oder Spektroskopie für die Exobiologie. Eine wichtige Anwendung für maschinelles Sehen ist die Charakterisierung des wissenschaftlichen Kontexts und die Identifizierung von wissenschaftlichen Zielen (Regionen, Objekte, Phänomene), die für die Untersuchung durch andere wissenschaftliche Instrumente von Interesse sind. Aufgrund der hohen Variabilität des Erscheinungsbildes solcher potenziell wissenschaftlicher Ziele erfordert es gut angepasste und dennoch flexible Techniken, darunter Deep Learning.
Mars-DL zielt daher auf die Anpassung und den Test von Simulationen und Deep Learning-Mechanismen zur autonomen Erkennung wissenschaftlich interessanter Ziele bei robotergestützten planetarischen Oberflächenmissionen ab.
Autonome Wissenschaft auf planetaren Oberflächen wird erst seit kurzem und im Zusammenhang mit der bevorstehenden Notwendigkeit, auf gegebene wissenschaftliche Möglichkeiten zu reagieren, diskutiert, auch angesichts begrenzter Datenaustauschressourcen und zeitlich enger Betriebszyklen.
Machine Learning und insbesondere Deep Learning ist eine Technik, die im Bereich der Bildverarbeitung eingesetzt wird, um Inhalte in Bildern zu erkennen, zu kategorisieren und Objekte mit spezifischer Semantik zu finden. Standard-Workflows benötigen große Mengen an Trainingsdaten mit bekannten / manuell kommentierten Objekten, Regionen oder semantischen Inhalten. Innerhalb von Mars-DL verwendet das Training verschiedene Ansätze, nämlich 1) die Verwendung vorhandener Planetenbilder aus vergangenen und aktuellen Missionen einschließlich relevanter Feldkampagnen (MER, MSL, ExoFit), 2) die Verwendung bekannter Ziele aus bestehenden Katalogen, 3) die Verwendung von Simulationen durch virtuelle Platzierung bekannter Ziele im realen Kontext. Dabei notwendiges Training und Validierung werden die Optionen untersuchen, wissenschaftlich interessante Ziele über verschiedene Sensoren hinweg zu suchen, sowie die Verwendung verschiedener Cues wie 2D (multispektral / monochrom) und 3D sowie räumliche Beziehungen zwischen Bilddaten und Regionen darauf. Für vergangene und aktuelle Missionen wird das Projekt dazu beitragen, Millionen von Oberflächenbildern zu erforschen und zu nutzen, die noch unentdeckte wissenschaftliche Gelegenheiten verbergen. Mars-DL ist ein wichtiger Anwendungs- und Demo-Fall für Österreichs Beitrag zur internationalen wissenschaftlichen Planetenerkundung. Die Mars-DL Aktivitäten werden auf der Expertise von JR & VRVis im Bereich der planetaren Bildverarbeitung und der Bereitstellung von Datenprodukten für den wissenschaftlichen Gebrauch, dem operativen Rahmen von SLR für die Deep-Learning-basierte industrielle Inspektion und dem Hintergrund von NHM in der Planetenforschung aufbauen.
Das Sondierungs-Projekt wird die Machbarkeit einer maschinenlernbezogenen Unterstützung während und nach Missionen durch die automatische Suche nach planetarischen Oberflächenbildern untersuchen, um den wissenschaftlichen Output zu steigern, zufällige Möglichkeiten zu nutzen und die taktische und strategische Entscheidungsfindung während der Missionsplanung zu beschleunigen. In Prototypform wird ein automatischer "Science Target Consultant" (STC) realisiert, der als Testversion nach der Landung der Mission an den ExoMars-Betrieb angeschlossen werden kann.
Während des Missionsbetriebs bevorstehender Missionen (Mars 2020, insbesondere ExoMars & Sample Fetch Rover – SFR) kann das STC vermeiden, dass Chancen ungenutzt bleiben, weil aus taktischen Zeitgründen eine eingehende Überprüfung des Bildmaterials nicht möglich war. Falls die vorgeschlagenen Prinzipien erfolgreich demonstriert werden können, ist das Ziel einer Folgeaktivität ein funktionsfähiger Prototyp des STC, der für den ExoMars 2020 Missionsbetrieb eingesetzt wird. Terrestrische Anwendungen, hauptsächlich im geologischen Bereich, werden ebenfalls untersucht.

Abstract

Planetary robotic missions contain vision instruments for various mission-related and science tasks such as 2D and 3D mapping, geologic characterization, atmospheric investigations, or spectroscopy for exobiology. One major application for computer vision is the characterization of scientific context, and the identification of scientific targets of interest (regions, objects, phenomena) for being investigated by other scientific instruments. Due to high variability of appearance of such potentially scientific targets it requires well-adapted yet flexible techniques, one of them being Deep Learning.
Mars-DL therefore targets in the adaptation and test of simulation & deep learning mechanisms for autonomous detection of scientific targets of interest during robotic planetary surface missions.
So far science autonomy has been addressed only recently with increased mobility on planetary surfaces and the upcoming need for planetary rovers to react autonomously to given science opportunities, well in view of limited data exchange resources and tight operations cycles.
Machine learning and in particular Deep Learning is a technique used in computer vision to recognize content in images, categorize it and find objects of specific semantics. In its default workflow it requires large sets of training data with known / manually annotated objects, regions or semantic content. Within Mars-DL, training uses different approaches, namely 1) using existing planetary images from past and present missions including relevant field campaigns (MER, MSL, ExoFit), 2) using known targets from existing catalogues, 3) using simulation by virtual placement of known targets in true context environment.
Training and validation will explore the possibility to search scientifically interesting targets across different sensors, investigate the usage of different cues such as 2D (multispectral / monochrome) and 3D, as well as spatial relationships between image data and regions thereon.
For past and present missions the project will help explore & exploit further existing millions of planetary surface images that still hide undetected science opportunities.
The project will constitute an important application and demo case for Austria’s capability to contribute to international mission-related scientific Planetary Exploration. Mars-DL activities will build upon JR & VRVis’ expertise in planetary vision processing and data products provision for scientific use, SLR’s operational framework for deep-learning based industrial inspection, and NHM’s background on planetary science.
The exploratory project will assess the feasibility of machine-learning based support during and after missions by automatic search on planetary surface imagery to raise science gain, meet serendipitous opportunities and speed up the tactical and strategic decision making during mission planning. An automatic “Science Target Consultant” (STC) is realized in prototype form which, as a test version, can be plugged in to ExoMars operations once the mission has landed.
During mission operations of forthcoming missions (Mars 2020, and ExoMars & SFR in particular) the STC can help avoid the missing of opportunities that may occur due to tactical time constraints preventing in-depth check of image material.
In case the proposed principles can be successfully demonstrated, the target of a follow-on activity will be a working prototype of the STC, deployed to mission operations of ExoMars 2020. Terrestrial applications mainly in the geology domain will be explored as well.

zurück