AuRea NDT

Augmented Reality meets NDT

Programm / Ausschreibung Bundesländerkooperationen TP, Digitalisierung 2017 OÖ, OÖ AS 2017 Digitalisierung Status laufend
Projektstart 01.11.2017 Projektende 31.10.2020
Zeitraum 2017 - 2020 Projektlaufzeit 36 Monate
Keywords Augmented reality, mixed reality, virtual reality, NDT, zerstörungsfrei Prüfung, Laser ultraschall

Projektbeschreibung

Ziel des Forschungsvorhabens ist eine natürliche, intuitive und einfach zu begreifende Darstellung von multimodalen Non-Destructive Testing (NDT) Messdaten auf realen Bauteilen.
Die zerstörungsfreie Prüfung (NDT = Non-Destructive Testing) von Bauteilen gewinnt zunehmend an Bedeutung (“zero failure production”). So erfolgt etwa in der Luftfahrt die Qualitätskontrolle in einem 200% Prüfansatz. Das bedeutet, dass in einem ersten Schritt eine vollflächige Prüfung des gesamten Bauteils durch ein vollautomatisches NDT System vorgenommen wird. Die dabei gefundenen Abweichungen von Referenzdaten werden als sogenannte „Findings“ gekennzeichnet. Das bedeutet, es wurde etwas gefunden, aber eine Fehlerbewertung ist noch ausständig um das „Finding“ als „OK“, „Defekt“ oder „Ignore“ zu kennzeichnen. In einem zweiten Schritt werden nun diese “Findings” an einem PC-Bildschirm bildgebend dargestellt, von einem geschulten Prüfer bewertet und durch manuelle Kontrollmessungen wieder am realen Bauteil validiert.
Die Notwendigkeit des Wechsels zwischen bildlicher Datendarstellung am PC-Monitor und realem Prüfobjekt, bedeutet einen Umweg der wenig intuitiv ist und zusätzliches Fehlerrisiko birgt.
Im vorliegenden Forschungsprojekt soll mit Hilfe von Augmented Reality die reale Umgebung (das zu prüfende Bauteil) mit der Zusatzinformation der Messdaten, gewonnen durch Laser-Ultraschall Prüfung, erweitert werden. Dies bedeutet, dass die gewonnenen ortsbezogenen Messdaten der zerstörungsfreien Prüfung mit der Geometrie des realen Bauteils überlagert werden. D.h. die z.B. farbkodierten Dickenwerte werden über das reale Bauteil mit Hilfe einer Mixed Reality Daten-Brille (z.B. Microsoft Hololens, Oculus Rift + Kamer / Sensor, ...) „gelegt“. Zusätzlich soll es mit Gestensteuerung möglich sein Zusatzinformationen und verschiedene Schnittebenen „ins Bauteil“ einzublenden.
Das Forschungsprojekt wird in zwei Phasen durchgeführt. In einer ersten „Laborphase“ werden Laserultraschall Messdaten im Labor über ein handliches Bauteil gemappt um die grundsätzlichen Technologien zu entwickeln. In der zweiten Phase soll das System zum einen in Richtung größere Bauteile (Flugzeug-Bauteile o.ä.) und zum anderen in Richtung Multi-Modalität (Messdaten von verschiedenen NDT Technologien z.B. Thermographie) erweitert werden. Große Bauteile stellen besondere Herausforderungen in Bezug auf die geometrische Referenzierung dar.
So wie Augmented Reality den Bereich Design und Service revolutioniert, wird es auch durch dieses Forschungsprojekt die intuitive Darstellung von NDT Daten und deren Fehlerbewertung neu erfinden und damit ein international sichtbares Zeichen setzen.
Durch die gemeinsamen Anstrengungen eines oberösterreichischen Leitbetriebs und einer oberösterreichischen Forschungseinrichtung werden damit wichtige Impulse für die Wettbewerbsfähigkeit der heimischen Wirtschaft gesetzt.

Abstract

The aim of this research project is to find a novel way – natural, intuitive and easy to understand – to see, to comprehend and to utilize multimodal NDT measurement-data projected on real components.
The increasing importance of non-destructive testing (NDT) of components (in industries targeting „zero failure production“ …) is quite obvious getting much more important in the last years. Especially in the aerospace industry, the responsible quality managers have to follow a strict 200% testing-approach. This means, a full-faced checking of the part, done by a fully automated NDT system, is performed as the initiating step of the procedure. Areas that show deviations from the reference dataset are marked as so-called „findings“. In a following step, these „findings“ are classified to be „OK“, „defect“ or „ignore“. This is done by a qualified auditor, who is evaluating the graphically represented „findings“ on a PC-monitor. In a final step the rated „findings“ are again validated by manual control measurements on the real component.
This workflow requires a change of perspective between the graphically illustrated dataset on the PC-monitor and the real component. This unintuitive additional step is an additional source for errors.
The idea of this research project is to use augmented reality in combination with NDT methods, thereby expanding the perception of the real environment (component under testing) with additional information provided by the NDT-measurements. This is done by mapping the location-dependent measurement data with the geometry of the real component. Practically this will enable to map and visualize for example the color coded thickness values right on the surface of the real component by using augmented reality glasses (e.g. Microsoft Hololens, Oculus Rift, …). By using gesture control the user has the possibility to retrieve and display additional information given by the measurement data or to superimpose the real part with different cross-sections.
The research project is divided into two phases, the „laboratory phase“ and a subsequent phase called „upscaling“. In the first part fundamentals for each technology and their interaction are developed. This is done by performing laser ultrasonics measurements in the laboratory on small components having simple geometries. The location-dependent data sets are used for a performing a first overlay with the real component. In the following second phase, further developments of the system regarding the testing of bigger components (aircraft components, …) and multimodality (combination of measurement data from different NDT technologies e.g. thermography) are performed. Regarding bigger components, the geometric referencing of the measurement data will be a challenging task.
Like augmented reality already revolutionized the fields of design and servicing, this research project will reinvent the intuitive visualization and evaluation of NDT data, which will be internationally recognized.
By the shared efforts of a leading Upper Austrian company and an Upper Austrian research-facility important impulses are given to secure the competitiveness of the local economy.