FFG Projektdatenbank

zurück

VR-PMEs

ADAPTIVE VIRTUAL SIMULATION BASED ON REAL TIME COGNITIVE LOAD, AFFECTIVE AND BIOMETRIC MEASURES:

Projektbeschreibung

Das allgemeine VR-PEM-Konzept besteht darin, dass Virtual Reality-Trainingsplattformen verbessert werden können, indem die Leistung des Menschen in pädiatrischen medizinischen Notfallsituationen (PMEs) aus der Perspektive eines multimodalen Erfassungs- und Überwachungssystems für kognitive Belastungs-, affektive und biometrische Signale (CAB) betrachtet wird, mit dem Ziel, lernspezifische Trainingsszenarien zu erstellen, um das Lernen, den Erwerb von Fähigkeiten und die Leistung bei optimalen Anstrengungen zu verbessern.

Spezifische technische Ziele:
Die gegenwärtigen technischen Ziele sind somit:
1. Ziel 1: Quantifizierung des Einflusses von CAB-Faktoren (d. H. Kognitive Belastung, affektive und biometrische Messungen) auf den Entscheidungs- und Handlungsprozess bei aktuellen PMEs-Ereignissen. Diese wissenschaftliche Validierung wird auch den Einfluss soziodemografischer Merkmale (z. B. Geschlecht, Alter, ethnische Zugehörigkeit usw.), Interaktionen (z. B. Komplikationen mit dem Zustand des Patienten, Dynamik zwischen Auszubildenden und anderem medizinischen Personal, Anwesenheit anderer Personen bei berücksichtigen) berücksichtigen das Notfalltheater usw.) und Kontextfaktoren (z. B. Lärm, Haptik, Selbstwahrnehmung von Stress usw.) für die Leistung und die Fähigkeiten zum Erlernen von Fähigkeiten. Basierend auf dieser Forschung wird ein Repository mit ordnungsgemäß funktionierenden (bzw. induzierenden) Hinweisen erstellt.
2. Ziel 2: Definieren von Benutzeranforderungen für ein VR-Trainingssystem, das in der Lage ist, CAB-sensorgestützte Messungen dynamisch in virtuelle Trainingsszenarien einzuführen. Während dieser Entwicklung wird eine Vielzahl von Hinweisen in Ziel 1 wissenschaftlich bewertet und nach einer Vorauswahl validiert, ob sie in der Lage sind, eine bestimmte kognitive Belastung zu induzieren und während der VR-Trainingseinheiten geeignete PME-Fähigkeiten zu trainieren. Relevanz: Ein pro-prietärer sensorgesteuerter Algorithmus verwendet die Echtzeitdaten des Auszubildenden, um die Simulationsschwierigkeiten, die Modularität und die Belastungsniveaus automatisch anzupassen und so ein wirklich individuelles, auf den Auszubildenden ausgerichtetes Lernen und den Erwerb von PME-Fähigkeiten zu ermöglichen. Dies wiederum fördert das Erfahrungslernen sowie die Entwicklung von VR-Prototypen (siehe Ziel 5).
3. Ziel 3: Anwendung modernster Datenanalysen, Ontologien (Beschreibungssprachen) und Datenüberwachungssysteme, die sowohl physiologische als auch instrumentelle Daten integrieren und korrelieren und eine statistische Karte der Verbindung der verschiedenen Prozesse liefern.
4. Ziel 4: Entwicklung eines zuverlässigen, hoch reproduzierbaren und rekonfigurierbaren VR-basierten Verkörperungsindex (Sense of Presence Index). Wir wollen Methoden und Technologien entwickeln, um die universelle Erfassung in eine zuverlässige und rekonfigurierbare Quelle komplexer multimodaler Informationen über die kognitive Belastung, den Erwerb von Fähigkeiten und deren Leistung während PMEs-Schulungen des Auszubildenden umzuwandeln. Der Hauptdurchbruch wird die Fähigkeit sein, die inhärenten Signalqualitäts- und Zuverlässigkeitsbeschränkungen der universellen Erfassungsstrukturen durch geeignete Verarbeitungsschaltungen und Algorithmen zu kompensieren, die für PMEs-Ereignisse und VR-Trainings relevant sind.
5. Ziel 5: Diese Fragen werden den Entwurf eines modularen und selbstadaptiven VR-PME-Lernmanagementsystems (und der entsprechenden IT-Architektur für Datenverarbeitung, Analyse und Data Mining) beeinflussen, das die VR-Simulation basierend auf den bereitgestellten Echtzeitwerten durch CAB-Sensoren ändern wird. Das VR-System soll von pädiatrischen Bewohnern (als Lernende) und Trainern als Autoren (PMEs-Experten) verwendet werden. VR-PMEs beinhalten Spielprinzipien.
a. PMEsim wird die Entwicklung eines vollständig immersiven VR-Trainingssystems für PMEs in Form von anpassbaren Serious Games mit haptischem Feedback mit mindestens 50 Entscheidungspunkten in Trainingsszenarien umfassen, die auf die sensorgestützten Echtzeitmessungen des einzelnen Auszubildenden zugeschnitten sind. Das gesamte immersive VR-Setup ist vollständig unverbunden und verfügt über ein stereoskopisches Head Mounted Display (Pico Neo 2 und 3 VR-Brille), verschiedene Navigationsmittel (Joystick, Figurenzeigen) und die Interaktion mit virtuellen 3D-Objekten.
b. Der PME-Assistent (PMEAs) unterstützt die Auszubildenden und gibt während des eigentlichen Verfahrens Feedback. Der „Operater view" ermöglicht es einem Trainer, die Aktionen des Teilnehmers zur Laufzeit anzuzeigen sowie in 3D mit der Trainingsszene zu interagieren, d. H. durch Platzieren zusätzlicher Objekte in der virtuellen Umgebung. Das 3D-After-Action-Review-Modul ermöglicht es, das Trainingserlebnis erneut abzuspielen, indem unter anderem die Bewegungen, 3D-Interaktionen und der Sound der Teilnehmer angezeigt werden. Eine umfassende Liste der Anforderungen ist im Abschnitt „Leistungsdaten, Pflichtenheft, Eigentümer" definiert, um den Abschluss des Projekts zu erleichtern.
6. Ziel 6: Evaluierung und Pilotierung der VR-PMEs-Prototypen anhand einer Reihe fokussierter Studien, an denen bestimmte Gruppen von medizinischem Personal und medizinischen Bewohnern von MUV beteiligt sind.
7. Ziel 7: Entwicklung einer Objektidentifikationsstruktur und einer Benutzerschnittstelle / eines Dashboards für eine VR-Plattformlösung zur Synchronisation und Integration aller Schulungskomponenten (Inkl. Scoring, Feedbacks und Benchmarking) und Teilnehmer (medizinisches Personal, Krankenhäuser) und Kursorganisatoren) im Lernmanagementsystem. Anders als bei früheren Systemen soll dieses Dashboard direkt in der Notaufnahme und damit mit intelligenten Geräten und Touchscreen bedient werden.
Der Arbeitsplan von VR-PME ist in 8 verschiedene Arbeitspakete unterteilt, die insgesamt 36 Monate dauern. Da die Arbeit sehr kooperativ ist, werden sowohl Soma Reality als auch Subunternehmer an mehreren Arbeitspaketen beteiligt sein.

zurück