DoRIAH

Domain-adaptive Remote sensing Image Analysis with Human-in-the-loop

Programm / Ausschreibung IKT der Zukunft, IKT der Zukunft, IKT der Zukunft - 8. Ausschreibung (2019) Status laufend
Projektstart 01.12.2020 Projektende 30.11.2023
Zeitraum 2020 - 2023 Projektlaufzeit 36 Monate
Keywords Computer Vision; Photogrammetry; Remote Sensing; Visual Analytics

Projektbeschreibung

Bildanalyse im Bereich der Fernerkundung – d.h. Luft- oder Satellitenbildaufnahmen – erfordert stets das Abwägen zweier wichtiger Kriterien: die Genauigkeit der Ergebnisse sowie die dafür benötigte Zeit. Menschliche Analysten erreichen in der Regel ein hohes Maß an Genauigkeit, bei großflächigen Projekten ist eine rein manuell durchgeführte Analyse aber durch den enormen Aufwand meist nicht realisierbar. Vollautomatische Methoden werden oft als Lösung angesehen, liefern aber in der Regel in den meisten Anwendungsbereichen nicht die gewünschte Genauigkeit. Aus diesem Grund ist es für eine für ein breites Anwendungsfeld nutzbare Methodik unerlässlich, moderne Bildanalysemethoden mit menschlicher Interaktion zu verbinden.
Das Forschungsprojekt DoRIAH (Domain-adaptive Remote sensing Image Analysis with Human-in-the-loop) wurde mit dem Ziel ins Leben gerufen, die Objekterkennung als interaktiver Prozess zwischen Mensch und Computer zu untersuchen. Das Erkennen kleiner Objekte in Fernerkundungsbildern ist einerseits ein häufiges, andererseits auch vielseitiges Problem: beispielsweise erlaubt die Erkennung von Bombenkratern in alten Luftbildaufnahmen des 2. Weltkrieges die Erstellung von Kampfmittelbelastungskarten. In modernen Satellitenbildaufnahmen können erkannte Fahrzeuge Aufschlüsse über Verkehrsströme oder die Parkraumbenützung liefern.
Der interaktive Prozess zur Analyse von Fernerkundungsbildern beinhaltet zwei wesentliche Schritte: Die Georeferenzierung und 3D Rekonstruktion der Bilddaten sowie die darauf aufbauende Detektion von relevanten Objekten. In DoRIAH werden diese beiden Schritte als iterativer Prozess implementiert, wobei Feedback-Schleifen für die Miteinbeziehung von menschlichen Analysefähigkeiten sorgen. In umgekehrter Richtung erlauben aussagekräftige visuelle Feedbackmethoden die effiziente Interpretation der Zwischenergebnisse.
DoRIAH ist ein gemeinsames Projekt dreier Forschungsgruppen der TU Wien: dem „Computer Vision Lab“, dem „Centre for Visual Analytics Science and Technology“ und der „Research Group Photogrammetry“. Die Firma Luftbilddatenbank Dr. Carls GmbH ist an der effizienten Analyse von historischen Luftbildaufnahmen interessiert und fungiert daher als Verwertungspartner.

Abstract

Analyzing remote sensing images on a large scale requires to balance two major constraints: accuracy of results and the time it takes to process the images. Using human analysts to accomplish the goal usually provides highly accurate results, but is often not feasible in large-scale scenarios due to the shear amount of image data to be processed. Consequently, fully automatic image analysis approaches are widely considered but often lack the accuracy needed for the specific problem domain. Therefore, for a wide generalization across different domains it is inevitable to combine modern image analysis methods with human supervision to ease the domain transfer.
As a solution, the DoRIAH project (Domain-adaptive Remote sensing Image Analysis with Human-in-the-loop) aims to investigate the analysis of remote sensing images from a human-in-the-loop perspective. Its goal is to allow the semi-automatic detection of various small-size objects in remote sensing images of any kind, from historical aerial images to modern-day satellite images, which is a common goal in many different application domains: for instance, detecting bomb craters in aerial images from WW2 is a major task for estimating the risks of UneXploded Ordnances (UXOs). In modern-day images, the detection of vehicles provides a rich information source for traffic monitoring or parking lot analysis.
The unified approach of DoRIAH involves two basic steps: (1) Georeferencing and 3D reconstruction from remote sensing imagery and (2) interactive detection of objects of interest. Both steps will be equipped with feedback loops to introduce the human cognitive power into the process. While human feedback tells the system about the accuracy and correctness of results, visual feedback of (improved) system results allows for meaningful interpretation on the user side.
DoRIAH is a joint research project conducted by three research groups at TU Wien: the Computer Vision Lab, the Centre for Visual Analytics Science and Technology, and the Research Group Photogrammetry. The company Luftbilddatenbank Dr. Carls GmbH serves as business partner whose commercial interest is the efficient analysis of historical aerial imagery for the purpose of creating UXO surveys.