FFG Projektdatenbank

zurück

vizARd

Visual Augmented Reality Assistant for Spatial Mapping

Projektbeschreibung

Eine Herausforderung in ICT-gestützten Workflows ist die Übertragung digitaler Informationen auf reale Objekte, was in der Regel eine fehleranfällige und zeitaufwändige Aufgabe ist. Dies gilt insbesondere dann, wenn es sich bei der Information um digitale Positionsdaten handelt, für deren Abbildung beispielsweise ein Mensch ständig zwischen Monitor und realem Objekt hin und her wechseln muss.
Augmented Reality (AR) behandelt genau das Zusammenspiel von digitaler Information und Realität. Aktuelle AR-Systeme sind jedoch nicht in der Lage, die Anforderungen an ein generelles digitales Assistenzsystem zu erfüllen, so wie es das geplante Projekt vorsieht.
VizARd schließt die Lücke zwischen der Ausgabe eines digitalen Workflows und einem realen Objekt mit Hilfe von AR-Technologie, indem es statische und mobile AR-Geräte auf einzigartige Weise kombiniert. Dabei wird die Umgebung durch 3D-Sensoren in Echtzeit wahrgenommen. Neuartige, nicht-rigide Registrierverfahren ermöglichen hierbei eine hochpräzise Abbildung auf verformbaren Oberflächen, und exakte Positionsermittlung von Geräten bzw. Objekten erlaubt qualitativ hochwertige AR-Präsentationen. Die generelle Anwendbarkeit wird für zwei sehr unterschiedlichen Anwendungsdomänen demonstriert.
Im medizinischen Bereich erfordern sowohl die Entfernung von Tumoren an langen Nerven als auch die Perforator-Lappenplastik die präoperative Markierung von Inzisionsstellen (abgeleitet aus einem digital unterstützten Workflow) auf der Patientenoberfläche (Haut).
Ein weiterer Anwendungsfall kommt aus dem industriellen Bereich, nämlich die Defektvisualisierung bei der Herstellung von kohlefaserverstärkten Kunststoffbauteilen (CFK-Bauteilen). Defekte an CFK-Teilen, die in der Luftfahrt- und Windkraftindustrie stark genutzt werden, werden durch ein Inspektionssystem erkannt und müssen zur Nacharbeit direkt am Objekt visualisiert werden.
Obwohl diese Problemstellungen völlig unterschiedlich sind, sollen sie mit dem gleichen System gelöst werden. Um dies zu erreichen, werden die jüngsten Fortschritte im Bereich des Deep Learning auf die multimodale, nicht-rigide Bildregistrierung sowie auf die 3D-Wahrnehmung und Positionsermittlung angewandt.
Hervorzuheben ist, dass dabei User Experience Methoden von Anfang an eingesetzt werden. Die Einbeziehung der Anwender soll die Akzeptanz der avisierten Technologie sichern, was in den jeweiligen Einsatzbereichen von größter Bedeutung ist.
Die VizARd Technologie hat in den ausgewählten Bereichen ein hohes Marktpotenzial, da sie einerseits die präoperative Markierung auf Basis von Daten aus CT/MRT-Geräten in allen Krankenhäusern erleichtert und andererseits ein wesentlicher Bestandteil der Inspektion von CFK-Produkten in einem stetig wachsenden Industriezweig sein wird.

Abstract

In ICT-supported workflows, mapping digital information on real-world objects is challenging, since media breaks generally result in error-prone and time-consuming tasks. This holds true especially if the output is digital spatial information, which can potentially result in stressful tasks for users such as the need to constantly switch between a monitor and a real-world object to map spatial information.
The science branch of Augmented Reality (AR) exactly addresses the interplay between digital information and reality. However, state-of-the-art systems are not able to meet the requirements of a digital assistance system for spatial mapping, which is the research need defined by the envisioned project.
VizARd seeks to bridge the gap between the output of a digital planning step and the real-world object using AR technology by uniquely combining static and mobile AR devices that perceive their environment through real-time 3D sensors. Novel non-rigid registration methods enable a highly precise mapping on deformable surfaces, and exact location-aware devices as well as accurate 3D perception permit high-quality AR presentations. The general applicability will be demonstrated in two very distinct domains.
In the medical domain, both nerve tumor excision and perforator flap surgery require the preoperative marking of incision sites – derived from a digitally supported workflow – on the patient’s skin.
Another use case originates from the industrial domain, namely defect visualization in Carbon-Fiber-Reinforced Polymer (CFRP) production. Defects on CFRP parts, which are heavily used in aeronautic and wind power industry, are detected by an inspection system and have to be visualized on the object in order to be repaired.
Although these problem statements are completely different, they will be solved by the same system. The goal of this project is to apply recent advances in deep learning to multimodal non-rigid image registration as well as real-world perception and location-aware data fusion. A noteworthy aspect of VizARd is the utilization of user experience methods from the very beginning of the project. The integral involvement of users ensures their acceptance of the final technology, which is of huge importance in the given domains.
The proposed technology shows high market potential in the selected domains. The first main advantage is that the technology facilitates preoperative marking in all hospitals that have a CT/MRI unit. Further, VizARd will be an essential component in the inspection of CFRP products in a steadily increasing industry sector.

zurück