FFG Projektdatenbank

zurück

WIBSTAC

Tactical Rover Planning by Intelligent Wide-Baseline Stereo

Projektbeschreibung

Panorama-Kamerasysteme auf Planetaren Rovern werden maßgeblich zur Bereitstellung von Übersichts („Kontext“) - Bilddaten zur strategischen Missions-Planung verwendet. Tägliche „sol-by-sol“ Panoramas und digitale Geländemodelle (DTMs) werden mittels sogenannter „fixed baseline“ Stereo Bildern erstellt. Damit können DTMs aufgrund der rasch mit der Entfernung schwindenden Genauigkeit nur bis zu einer typischen Distanz von 20-40m vom Rover entfernt sinnvoll erstellt werden. Rover wie z.B. MSL Curiosity könnten mehr als 100m pro Tag fahren, eine Distanz die von keinem Instrument an Bord des Rovers mit DTMs abgedeckt wird, was für die Planung eines sicheren Pfades nötig wäre. Mit geeigneter Auswahl von Bildern, die von unterschiedlichen Rover-Positionen aufgenommen werden, können mittels einer Technik genannt „wide baseline stereo“ (WBS) weit größere Distanzen mittels DTM abgedeckt werden und damit die Möglichkeiten strategischer Planung weit besser ausgenutzt werden: WIBSTAC schlägt eine solche Strategie vor und schließt im vorliegenden Projekt die Kette zwischen „view planning“, WBS 3D Stereo-Rekonstruktion sowie Fusionierung der Ergebnisse mit folgenden Techniken & Zielen:
• Auswahl optimierter Rover Standpunkte und Blickwinkel („view planning“) für Panorama Bildaufnahme zur Erzielung optimaler Qualität / Auflösung / Ausdehnung von DTMs und zu übertragender Datenrate
• View planning mittels simulierter Bilder auf satellitenbasierten DTMs, Verwendung erwarteter WBS DTM Genauigkeit & Qualität, ausführliche („exhaustive“ ) Suche nach den besten WBS Bildaufnahme-Möglichkeiten am geplanten Rover-Pfad
• Erstellung einer Prioritätenliste für solche Aufnahmen
• 3D Prozessierung von 3D Datenprodukten (DTMs und generischen 3D Oberflächenmodellen mit mehreren hundert Metern Ausdehnung
• Fusionierung der generierten 3D Datenprodukte mit satelliten-basierten DTMs, sowie den regulären fixed baseline DTMs
• Immersive Visualisierung der Datenprodukte und WBS Aufnahmesituationen
• Bereitstellung der Visualisierung & View Planung für die Verwendung durch Rover Teams relevanter Mars Missionen und Instrumente insbesondere ExoMars PanCam & CLUPI, Mars 2020 Mastcam-Z sowie MSL, und in terrestrischen Anwendungen
• Dokumentation der 3D Vision Methoden und wissenschaftlichen Erkenntnisse durch deren Verwendung in akademischen / wissenschaftlichen Publikationen.
WIBSTAC wird insbesondere in enger Kooperation mit der und eingebunden in die ExoMars Missions-Vorbereitung abgewickelt werden. Es ist ein wichtiger Baustein wichtiger Missionsziele wie die Fähigkeit, einen integralen Satz von Messungen auf mehreren Skalierungsebenen durchzuführen, sowie den Zugang des Rover zu einer geeigneten geologischen Umgebung (durch langfristige Kartierung in korrekter 3D-Auflösung) zu ermöglichen.

Abstract

Panoramic camera instruments on planetary rovers are mainly used to provide context imagery for strategic mission planning in the form of daily (=sol-by-sol) panoramas and digital terrain models (DTMs) during ground operations. Such products are generated from so-called fixed-baseline stereo images as available from the instruments’ stereo separation. Such a configuration is able to provide DTMs up to a typical distance of 20-40 m apart from the rovers only, due to fast degradation of resolution and specifically range accuracy, depending on viewing distance. Contemporary rovers (e.g. the MSL Rover Curiosity) are able to travel more than 100m per day, a distance that cannot be covered by any on-board stereo vision sensor for planning a safe path on Earth or on-board prior to travelling. With proper selection of imagery acquired, coupled with rover motion, a technique called “wide baseline stereo” (WBS) will lead to much longer ranges to be covered by 3D mapping using on-board rover vision sensors, and therewith considerably enhance the capability of strategic planning. Following techniques and challenges are involved:
• Selecting optimum locations and directions for imaging to gain maximum quality / resolution / extension of 3D vision products, to save data downlink budget
• View Planning by simulated imagery on satellite-based DTMs, knowledge about expected WBS DTM accuracy and quality, exhaustive search on current rover track for the best WBS image capturing opportunities
• Giving the rover task schedule a priority list of images to “serendipitously” take with given resources. This ensures optimum data return for mid to long-range planning
• Processing of the captured WBS images, leading to geocoded 3D data products (DTMs and/or general 3D surface models with a few hundred meters of diameter, or from spots in hundreds of meters to kilometers distance to the rover)
• Embedding of the generated 3D data products in HiRISE satellite-based DTMs to place them in proper global Mars context
• Visualize the data product (including fusion results) in an immersive way
• Make the data visualization & view planning available to the rover Teams of related Mars missions and instruments such as MSL Mastcam, ExoMars PanCam & CLUPI (also for close-range), Mars 2020 Mastcam-Z, and in terrestrial applications
• Document the 3D vision methods in academic publications and contribute to scientific publications using the generated 3D vision products for planetary science.
WIBSTAC will take place in close cooperation with ExoMars operations preparation. It is an important building block of major mission objectives such as the ability to conduct an integral set of measurements at multiple scales, and the Rover’s access to appropriate geologic environment (by long-range mapping in proper 3D resolution).

zurück