FFG Projektdatenbank

zurück

nARvibrain

Augmented Reality supported Functional Brain Mapping for Navigated Surgery Preparation and Education

Projektbeschreibung

Hirntumore stellen für Patient*innen eine erhebliche physische und psychische Belastung dar und ziehen ein breites Spektrum an diagnostischen und therapeutischen Maßnahmen mit sich. Vor einer möglichen Tumorresektion werden routinemäßig Informationen aus multimodaler Bildgebung und funktionellen Tests erhoben. Sowohl die Lage des Tumors als auch die umliegenden eloquenten Hirnregionen müssen berücksichtigt werden, um ein optimales Ergebnis zu erzielen, d.h. eine größtmögliche Resektion des Tumorgewebes bei gleichzeitiger Erhaltung der essenziellen neurologischen Funktionen.
Fortschritte im Bereich von eXtended Reality (XR) ermöglichen es Nutzer*innen, die beobachtete Realität mit digitalen Informationen zu erweitern. Augmented Reality (AR) als Teil der XR, gekoppelt mit Computer Vision und Künstlicher Intelligenz (KI), ermöglicht effizientere und präzisere medizinische Arbeitsabläufe und Eingriffe. Außerdem können Patient*innen-Aufklärungsgespräche verständlicher gestaltet und Möglichkeiten für neue interaktive Lehrmethoden geschaffen werden. Das Projekt nARvibrain zielt darauf ab, die präoperative Planung und funktionelle Untersuchung von Tumorpatient*innen, ihr Krankheitsbewusstsein, sowie die Ausbildung von Medizinstudent*innen zu verbessern, indem moderne KI-Methoden mit XR-Systemen kombiniert werden.
Die technische Basis von nARvibrain ist ein neuartiges digitales Patient*innen-Modell, das alle relevanten strukturellen und funktionellen Bilddaten, funktionellen Testergebnisse und prädiktiven Simulationsergebnisse repräsentiert. Es wird eine semi-automatische, KI-gestützte Bildverarbeitungspipeline entwickelt, die klinische Bilder in maßgeschneiderten Input für AR-Rendering-, Simulations- und Prädiktionspakete umwandelt.
Eine zentrale Entwicklung von nARvibrain ist die AR-Unterstützung bei der Funktionstestung mittels transkranieller Magnetstimulation (TMS) oder direkt kortikaler Stimulation (DCS). Vorabinformationen über funktionell relevante Hotspots und Nervenfaser-Orientierung, die direkt auf die Kopfhaut des*der Patient*in projiziert werden, helfen Ärzt*innen bei der Steuerung und optimalen Platzierung der Stimulationsinstrumente. Das induzierte elektrische Feld der TMS-Spule, das in nARvibrain mit einem Deep Learning basierten Modell berechnet wird, soll zudem visuell einblendbar sein. Ein modernes Neuronavigationssystem wird so erweitert, dass es neben einer präzisen Positionsbestimmung quantitative Aufzeichnungen der Verhaltensreaktionen auf TMS/DCS-Stimulationen erlaubt.
Ein weiterer Bestandteil von nARvibrain betrifft die Patient*innen-Aufklärung. Ein 3D-Visualisierungstool soll Ärzt*innen helfen, Krankheitszustand und den weiteren Behandlungsverlauf verständlicher zu erklären. nARvibrain hat auch einen didaktischen Aspekt, da innovative Lehrmaterialien für die Neuroanatomie entwickelt werden sollen. Mehrere sezierte und digitalisierte menschliche Gehirne, die virtuell mit Tumor- und Traktographie-Bilddaten überlagert werden, stellen die Basis für eine Gamification-basierte Didaktik-Plattform dar, die das verbreitete Phänomen „Neurophobie“ unter Studierenden reduzieren soll.
Obwohl nARvibrain auf Hirntumore konzentriert ist, sind wir überzeugt, dass die im Projekt vorgeschlagene Integration von XR-Systemen in medizinische Interventionen als Grundlage für ähnliche Anwendungen in anderen klinischen Fachbereichen dienen wird.

Abstract

Brain tumors cause a substantial physical and psychological burden for patients and trigger a broad clinical pipeline of diagnostic and therapeutic interventions. Various information from multimodal imaging and (non-invasive) functional mappings are routinely employed prior to tumor resection. Both tumor location and surrounding eloquent brain regions need to be considered for an optimal outcome that includes complete resection of tumor tissue while preserving cognitive and functional skills at best.
Recent advances in the field of eXtended Reality (XR) allow the user to extend the observed reality with digital information. Augmented Reality (AR), as part of XR, coupled with artificial intelligence (AI) is enabling more efficient and precise medical workflows and interventions. XR can improve patient counseling and offer novel interactive ways of teaching. The project nARvibrain seeks to improve presurgical planning and functional brain mappings of tumor patients, their disease awareness as well as the education of medical students by combining the power of AI with XR-systems.
The technical basis of nARvibrain is a novel digital patient model which includes all relevant structural and functional neuroimaging data, functional mapping results and predictive guidance information. For that matter, a semi-automated AI-backed image preparation pipeline will be developed, which transforms clinical images into tailored input for XR-rendering, simulation, and guidance packages.
A key development of nARvibrain is the AR-guidance in functional mappings, i.e., transcranial magnetic stimulation (TMS) and direct cortical stimulation (DCS). Prior imaging information on functionally relevant hotspots and cortical fiber bundles projected directly on the patient’s scalp will help physicians guide the stimulation instruments. This information will be visually enriched by visualizing the TMS-induced electric field, which nARvibrain aims to generate by a novel deep learning-based model. The project will extend a neuronavigation system so that it—besides precise spatial position tracking—allows for quantitative tracking of TMS stimulation responses complementing routine neuropsychological assessments.
Furthermore, nARvibrain plans to improve tumor patient counseling via a 3D visualization tool that will assist physicians in explaining the disease condition and treatment options. This will be beneficial for patients to understand complex radiologic information. nARvibrain also has an educational goal and aims at inducing a paradigm shift in the approach to teach neuroanatomy shifting the focus from two-dimensional cross-sectional brain images to a three-dimensional, multimodal function-centered approach. By doing that, the understanding of the complex cerebral structures should be improved among students and reduce the widespread phenomenon of neurophobia. For this, multiple dissected and digitized human brains will be virtually augmented with tumor imaging data. This forms the basis for a novel XR-based didactics platform where students can interactively study functional and structural neuroanatomy in a playful manner.
The project nARvibrain focuses on brain tumors, but we are convinced that this project, with its unique combination of XR-systems and predictive guidance for medical interventions, will serve as a basis for similar applications in other clinical specializations.

zurück