FFG Projektdatenbank

zurück

IN+SIGHT

Effortlessly create immersive digital twins for training environments with Spatial AI

Projektbeschreibung

Das IN+SIGHT-Projekt vereinfacht die Erstellung immersiver Trainingsumgebungen durch 3D-Digital Twins und die Anwendung von Spatial AI. Dadurch wird XR-basiertes Lernen in verschiedenen Bereichen leichter zugänglich, wie dem Gesundheitswesen, Rettungsdiensten, öffentlicher Infrastruktur, dem Kulturerbe, der Landwirtschaft und der Green Transition.

Indem es Fachexpert*innen ermöglicht, selbstständig reale Szenarien mit Smartphones zu erfassen, diese mit räumlich verankerten verbalen Anmerkungen anzureichern und mittels 3D Gaussian Splatting (3DGS) in fotorealistische 3D-Modelle umzuwandeln, reduziert IN+SIGHT die Komplexität und den Aufwand der XR-Trainingsentwicklung, ohne dass spezielle 3D-Kenntnisse erforderlich sind.

Der Ansatz von IN+SIGHT besteht aus drei Schritten:

1. Erfassen: Fachexpert*innen können reale Umgebungen mit Smartphones aufnehmen, um daraus fotorealistische 3D Modelle erstellen. Gleich bei der Aufnahme fügen sie verbale Annotationen hinzu.

2. Bearbeiten: Unterstützt durch Conversational AI können die verarbeiteten 3D Daten durch die Fachexpert*innen mit relevantem Wissen aus Dokumenten ergänzt, sowie Lernpfade vorgegeben werden.

3. Lernen: Die Trainings können von Lernenden mit Web 4.0 basierten Technologien absolviert werden, wodurch die Inhalte einem breiten Personenkreis und auf unterschiedlichen Plattformen zugänglich wird (Smartphones, PCs und immersive Headsets). Der Einsatz von Spatial AI bietet kontextbezogene Unterstützung basierend auf der Position innerhalb des Digital Twins.

IN+SIGHT verfolgt einen User-Centered Design-Ansatz mit Feedback aus iterativen Evaluierungen gemeinsam mit Anwendungspartner*innen, die verschiedene Branchen und Sektoren repräsentieren: ÖBB, Samariterbund Linz, Österreichisches Rotes Kreuz NÖ, Bundesverband Rettungsdienst, Samariterbund Österreich, BOKU University, Verein Energiewende und Belvedere. Die F&E-Partner*innen Fachhochschule St. Pölten, AIT, Mopius und Johannes Ambrosch (Startup) bringen Expertise in XR-Technologien, KI und Softwareentwicklung ein.

Der Hauptnutzen von IN+SIGHT besteht darin, Organisationen zu ermöglichen, selbstständig maßgeschneiderte XR-Trainingsumgebungen sowohl zu erstellen, als auch kontinuierlich zu aktualisieren. Dadurch werden diese einem breiten Kreis von Auszubildenden zugänglich, wodurch besonders Institutionen mit vielen Mitarbeiter*innen (z.B. Gesundheitsorganisationen) profitieren. Die Projektergebnisse und Demonstratoren werden in öffentliche Veranstaltungen, Publikationen und einen Hackathon einer breiteren Anwenderbasis über das Projekt hinaus vorgestellt und zugänglich gemacht.

Abstract

The IN+SIGHT project simplifies the creation of immersive training environments through 3D digital twins and Spatial AI, making XR-based learning accessible across sectors such as healthcare, emergency services, public infrastructure, cultural heritage, agriculture, and the green transition.

By enabling domain experts to independently capture real-world scenarios using smartphones, enrich them with spatially anchored verbal annotations, and convert them into photorealistic 3D models via 3D Gaussian Splatting (3DGS), IN+SIGHT reduces the complexity and cost of XR training development without requiring specialized 3D skills.

IN+SIGHT’s approach consists of three key steps:

1. Capturing: Domain experts use smartphones to capture real-world environments and add verbal annotations, creating the foundation for photorealistic 3D models.

2. Authoring: With intuitive editing tools, domain experts enrich the captured data by referencing relevant documents and define learning paths, supported by Conversational AI.

3. Learning: Through Web 4.0-based technical foundations, trainees access the virtual learning scenarios across multiple platforms – mobile devices, PCs, or immersive headsets – ensuring accessibility and flexibility for a broad range of users. Spatial AI gives contextual guidance based on the location within the digital twin.

The project employs user-centered design with feedback from evaluations together with use case partners involved in professional training across a wide range of industries and sectors: ÖBB, Samariterbund Linz, Österreichisches Rotes Kreuz NÖ, Bundesverband Rettungsdienst, Samariterbund Österreich, BOKU University, Verein Energiewende, and Belvedere. The R&D partners St. Pölten University of Applied Sciences, AIT, Mopius, and Johannes Ambrosch (Startup) contribute expertise in XR technologies, AI, and software development.

IN+SIGHT’s main benefit is allowing organizations to independently produce & continually update customized XR training environments and to roll them out to a broad set of trainees. This is particularly valuable for institutions with significant societal impact. Results and demonstrators will be shared through public events, publications, and a hackathon to encourage broad adoption.

zurück