HapticallyMR
Haptic Manikin for Medical MR Training
| Programm / Ausschreibung | KIRAS, F&E-Dienstleistungen, KIRAS-Kybernet-Pass CS F&E Dienstleistungen (CS FED_2024) | Status | laufend |
|---|---|---|---|
| Projektstart | 01.01.2026 | Projektende | 30.06.2027 |
| Zeitraum | 2026 - 2027 | Projektlaufzeit | 18 Monate |
| Projektförderung | € 298.277 | ||
| Keywords | Mixed Reality, Training von Sanitäter:innen und Notfallärzt:innen, Objekttracking, Manikintracking, Computer Vision | ||
Projektbeschreibung
Die Gemeinsame Sicherheits- und Verteidigungspolitik (GSVP) der EU zielt darauf ab, das zivile und militärische Krisenmanagement zu stärken. Dies umfasst unter anderem Maßnahmen und Strategien zur Sicherstellung der medizinischen und sanitätshilflichen Versorgung in Krisensituationen. Dies erfordert spezialisierte Trainingsprogramme, die medizinisches Personal sowohl fachlich als auch mental auf Einsätze in Krisensituationen vorbereiten. Die Simulation realitätsnaher Szenarien ist hierfür essentiell. Aktuelle Trainingsmethoden wie reale Simulationen und Virtual-Reality (VR) Trainings können nur einen Bruchteil notwendiger Szenarien darstellen (reale Simulation) und medizinische Handgriffe können selten überzeugend trainiert werden. Bei VR-Trainings fehlt u.a. das wichtige haptische Feedback.
Mixed-Reality (MR) Technologien bieten eine effiziente Lösung, um kostengünstig zu trainieren und den Realismus und die Effektivität von Trainingssimulationen zu steigern. MR ermöglicht eine Kombination aus visuellen und haptischen Komponenten, wodurch realitätsnahe Szenarien wie Traumaversorgung oder Polytraumata abgebildet werden können. Hierfür ist es notwendig, physische Objekte – wie Trainingsmanikins und medizinische Gerätschaften – positionsgenau in MR-Trainings zu integrieren, um das essentielle haptische Feedback zu erhalten.
Ziel von HapticallyMR ist die Entwicklung einer innovativen, kostengünstigen, ortsunabhängigen, mobilen und skalierbaren Haptischen Mixed Reality (HMR) Lernumgebung, in welcher Trainierende die Versorgung von Notfallpatient:innen praxisnah im Umfeld eines simulierten Krisengebiets erlernen können. Um haptisches Feedback zu gewährleisten, wird ein fortschrittliches Simulationsmanikin entwickelt, welches mittels physisch integrierter Sensorik verortet wird und in die HMR-Lernumgebung integriert wird. Weiters werden medizinische Gerätschaften in das Training mittels Sensorik und kamerabasierter Verfahren in das Training eingebunden. Dies soll die Lücke zwischen traditionellen Trainingsmethoden und den Anforderungen an ein modernes, realitätsgetreues Notfall- und Traumatraining schließen. Durch dynamisch anpassbare Simulationen und die Bereitstellung haptischen Feedbacks soll die Flexibilität erhöht und die Ausbildungsqualität gesteigert werden. Abgesehen von haptischem Feedback und somit der Möglichkeit medizinische Handgriffe realitätsgetreu zu trainieren, ermöglicht HapticallyMR auch die freie Beweglichkeit Trainierender sowie die Zusammenarbeit mehrerer Trainierenden im selben Szenario. Ein Trainerinterface ermöglicht es Trainer:innen das Szenario dem Ausbildungsstand der Trainierenden anzupassen und das Training in Echtzeit zu steuern (z.B. Anpassen von Vitalparametern, Setzen von Stressoren, Anpassen der Verletzungsmuster).
Die Bedarfsträger werden in allen Projektphasen verstärkt eingebunden. Die HMR-Lernumgebung wird gemeinsam mit diesen in mehreren Iterationen hinsichtlich Trainingseffektivität und -tauglichkeit evaluiert. Weiters wird ein Schulungskonzept und darauf aufbauend ein Ausbildungskonzept für die Ermöglichung einer curricularen Integration in Ausbildungsprogramme gemeinsam mit den Bedarfsträgern erstellt.
Abstract
The EU's Common Security and Defense Policy (CSDP) aims to strengthen civilian and military crisis management. This includes measures and strategies to ensure medical and paramedic care in crisis situations. This requires specialized training programs preparing medical personnel both professionally and mentally for deployments in crisis situations. Therefore, simulating realistic scenarios is essential. Current training methods such as real simulations and virtual reality (VR) trainings can only provide a fraction of the training and emergency care procedures can rarely be practiced convincingly. Among other things, VR training lacks haptic feedback.
Mixed reality (MR) technologies offer an efficient solution for cost-effective training and increasing realism and effectiveness of training simulations. MR enables a combination of visual and haptic components, allowing the simulation of realistic scenarios such as trauma care or polytrauma. Physical objects – such as training manikins and medical equipment – need to be integrated into the MR environment with precise positioning to obtain essential haptic feedback.
The aim of HapticallyMR is to develop an innovative, cost-effective, mobile and scalable Haptic Mixed Reality (HMR) learning environment in which trainees can learn how to treat emergency patients in a simulated crisis area. To ensure haptic feedback, an advanced simulation manikin is being developed. Its location and pose are determined and tracked using integrated sensors and implemented into the HMR learning environment. Furthermore, medical equipment is integrated into the training using sensor technology and camera-based methods. This intends to close the gap between traditional training methods and the requirements of modern, realistic emergency and trauma training. Dynamically adaptable simulations and the provision of haptic feedback are intended to increase flexibility and improve the quality of training. Apart from haptic feedback and thus the possibility to train medical trauma care procedures realistically, HapticallyMR also enables free movement of trainees as well as the cooperation of several trainees in the same scenario. A trainer interface allows trainers to adapt the scenario to the level of training of the users and to control the training in real time (e.g. adjusting vital parameters, setting stressors, adjusting injury patterns).
Stakeholders are involved in all project phases. The HMR learning environment will be evaluated together with them in several iterations regarding training effectiveness and training suitability. Furthermore, a training concept and, building on this, a concept for curricular integration into training programs will be developed together with the stakeholders.