FFG Projektdatenbank

zurück

EyeQTrack

Quantitative Eye-Tracking Analytics for Adaptive XR Training & Rehabilitation in Healthcare

Projektbeschreibung

Immersive eXtended Reality (XR) wird im kommenden Jahrzehnt die innovativsten Entwicklungen im Gesundheitswesen vorantreiben. Bis 2026 wird der Gesamtwert von Augmented (AR) und Virtual (VR) Reality in der globalen Gesundheitsbranche 10,8 Milliarden US-Dollar erreichen (GMD Research, 2019). Zwei wichtige Anwendungsbereiche für XR-Technologien sind (1) skalierbare, kostengünstige klinische und paraklinische Schulungen und (2) interaktive virtuelle Umgebungen für Patienten in Therapie und Rehabilitation.

Gleichzeitig zeigen personalisierte Medizin und digitale Gesundheitsanwendungen den Trend zu einer immer stärkeren Individualisierung des Gesundheitswesens auf. Um sich in diese Richtung zu entwickeln, müssen XR-Umgebungen zu intelligenten Systemen werden, die sich an den Benutzer anpassen. Eine solche adaptive XR erfordert ein auf Messungen basiertes Nutzerfeedback. Ein objektives Feedbacksystem, das auf kognitiv und physiologisch relevanten digitalen Biomarkern basiert, bietet eine quantitative Grundlage für die Anpassung der XR an Nutzer und Patienten. Unsere beiden Anwendungsfälle wurden als Ausgangspunkte gewählt, weil sie belastende und kognitiv anspruchsvolle XR-Szenarien bieten, in denen adaptive Technologie hohe Erträge bringt: (1) Fehlervermeidung bei der XR-Ausbildung von Rettungsdiensten und (2) Sturzprävention für Parkinson-Patienten in der VR-Motor-Rehabilitation.

EyeQTrack nutzt moderne Bildverarbeitung, quantitative Analyse und maschinelles Lernen/künstliche Intelligenz (ML/KI), um Information über kognitive und emotionale Reaktionen aus Eye-Tracking-Datenströmen handelsüblicher immersiver XR-Technologien zu gewinnen. Wir schaffen die Wissensbasis (okulare Biomarker und Algorithmen) für robustes adaptives XR-Feedback, indem wir Erkenntnisse für Trainings- und Therapieumgebungen aus Augendaten über das Stressniveau, die kognitive Belastung, die Müdigkeit und den Aufmerksamkeitszustand von Nutzern ziehen.

Unser Projekt kombiniert mehrere etablierte Forschungs- und Lehrbereiche der FH St. Pölten: XR, ML/KI, motorische Rehabilitation, Pflege- und Rettungsdiensttraining. Als solches ist EyeQTrack strategisch als interdisziplinäres Kompetenzzentrum positioniert, mit Eye-Tracking als integrierende Technologiebrücke.

Um Innovation zu fördern, engagiert EyeQTrack Akteure aus dem Gesundheitswesen und der Industrie sowie ein interdisziplinäres Forschungsteam für die adaptive XR-Entwicklung. Wir arbeiten mit Unternehmen aus der gesamten österreichischen XR-Innovationslandschaft zusammen, von Hardware- bis Lösungsentwicklern, damit sie mit adaptivem XR einen einzigartigen Mehrwert für ihre Produkte und Dienstleistungen bieten können.

Der EyeQTrack-Entwicklungsplan reicht über die Projektlaufzeit hinaus: von der Entwicklung spezifischer Anwendungsfälle über die mittelfristige Expansion durch Spin-Off-Projekte/Kooperationen bis zum Aufbau eines nachhaltigen Ökosystems aus Expertise, Partnern und Projekten innerhalb von 6 Jahren.

Abstract

Immersive eXtended reality (XR) is set to drive the coming decade’s most innovative developments in healthcare. By 2026, the combined value of augmented (AR) and virtual (VR) reality in the global healthcare industry will reach 10.8 billion USD (GMD Research, 2019). Two key application areas stand at the forefront: XR technologies offer (1) scalable, cost-effective clinical and paraclinical training, and (2) interactive virtual settings for patients in therapy and rehabilitation.

Concurrently there is an accelerating trend for healthcare to become ever more individualised, as exemplified by personalised medicine and digital therapeutics. To evolve in this direction, XR environments need to become smart systems that adapt to individual users. Such Adaptive XR requires ideally measurement-based user feedback. An objective feedback system based on cognitively and physiologically relevant digital biomarkers gives care providers a quantitative basis for adapting their XR training and therapies to users and patients. Our two use cases are chosen as starting points because they represent stressful and cognitively demanding XR scenarios, where adaptive capability yields high returns: (1) Error prevention in emergency services XR training, and (2) Fall prevention for Parkinson’s patients in VR motor rehabilitation.

EyeQTrack uses advanced image processing, quantitative analysis, and machine learning/artificial intelligence (ML/AI) to extract information on human cognitive and emotional responses from eye-tracking data streams of immersive XR technologies. Our mission is to build the basis of adaptive XR, by converting ocular data into insights on the stress levels, cognitive load, fatigue, and attentional states of users in training and therapeutic environments. Using commercially available XR hardware with eye-tracking capabilities, we create the implementation knowledge base (ocular biomarkers and algorithms) for robust adaptive feedback pathways.

Our project combines several established research and teaching areas of St. Pölten UAS: XR, ML/AI, motor rehabilitation, nursing and emergency services training. As such, EyeQTrack is strategically positioned as an intersectional competency centre, mediated by eye-tracking as an integrated technology bridge.

To foster innovation, EyeQTrack engages stakeholders in healthcare and industry, and an interdisciplinary research team for adaptive XR development. Our goal is to work with companies across the Austrian XR innovation landscape, from hardware to solution developers, enabling them to offer unique added value through the uptake of Adaptive XR into their products and services.

EyeQTrack’s growth plan extends beyond the project period, transitioning from the development of specific use cases to mid-term expansion through spin-off projects and collaborations, and ultimately the establishment of a sustainable ecosystem of expertise, partners, and projects within 6 years.

zurück