FFG Projektdatenbank

zurück

Context-awARe AI

Context-Aware Multi-Agent AI-Powered AR Assistants for Industrial Procedures

Projektbeschreibung

Dieses Dissertation behandelt, wie KI-gesteuerte Augmented-Reality (AR) Systeme besser in industrielle Verfahren integriert werden können. Aktuelle AR Unterstützungssysteme müssen typischerweise mit hohem Zeitaufwand erstellt und konfiguriert werden.
In einer vorherigen Arbeit konnten wir zeigen, dass die Verwendung von LLMs (basierend auf bestehender technischer Dokumentation) den Erstellungsaufwand erheblich reduzieren kann.
Basierend auf diesen Erkenntnissen wollen wir Multiagentensysteme für AR Assistenten evaluieren. Das Vorhaben sieht vor, dass Agenten für visuelle Wahrnehmung, Konversationen mit Benutzern, Informationsstrukturierung und auch zur visuellen Darstellung der KI Inhalte in einer AR Applikation eingesetzt und evaluiert werden.
Ein weitere Fokus dieser Art wird die Erweiterung der Wissensbasis des Assistenten sein. Dies soll durch vielschichtige Sensordatenerfassung bewerkstelligt werden, inklusive Aufnahme von Expertenvideos, Rekonstruktion der Maschinen in 3D (für erweiterte Visualisierungsmöglichkeiten), Expertenverhalten (wie können Aufgaben effizient durchgeführt werden).
Durch Verbesserung des Wissenstandes des LLM Systems erhoffen wir uns eine gezieltere und auch Kontext bezogene AR Unterstützungsapplikation.
In Summe, soll durch diese Dissertation ein komplettes industriell anwendbares System evaluiert werden, dass sich sowohl mit der Erstellung von Inhalten, als auch mit der Präsentation der Hilfestellung beschäftigt. Ein spezieller Fokus wird hierbei auf der industriellen Machbarkeit liegen.

Abstract

This dissertation investigates how AI-driven augmented reality (AR) systems can be better integrated into industrial procedural guidance. Current AR guidance systems typically rely on extensive manual authoring. In prior work, we demonstrated that integrating a large language model, grounded in existing technical documentation, into an AR system with spatial machine annotations can substantially reduce authoring effort.

Building on this approach, the proposed research explores a multi-agent architecture for AR assistants. Specialized agents will handle visual perception for context awareness, user speech interaction, information structuring, and visual presentation of guidance within AR. This modular design aims to improve adaptability, robustness, and usability in dynamic industrial environments.

A further focus is the expansion of the assistants’ knowledge base through multimodal data acquisition. This includes recording instructional videos, reconstructing machines in 3D, and capturing expert demonstrations and attentional behavior (e.g., gaze), enabling richer and more context-sensitive AR guidance.

Overall, a complete industrial authoring and evaluation system will be evaluated, by taking industrial needs into account for an advanced guidance, assistance, and support system.

zurück