FFG Projektdatenbank

zurück

LEAP/XR

Language-driven Embodied AI for Perceptual Lighting Design in eXtended Reality

Projektbeschreibung

Die Planung künstlicher Beleuchtung erfordert die Übersetzung qualitativer, oft sprachlich formulierter Gestaltungsintentionen in quantitative technische Parameter. Begriffe wie atmosphärisch, sicher oder zurückhaltend spielen in frühen Planungsphasen eine zentrale Rolle, lassen sich jedoch nur begrenzt formal abbilden. Gleichzeitig gewinnen immersive Technologien wie Virtual Reality (VR) zunehmend an Bedeutung als Werkzeuge zur räumlichen Bewertung von Lichtwirkungen. Bestehende Ansätze stoßen jedoch an Grenzen, da sprachliche Bedeutungen, räumliche Strukturen, Wahrnehmung und normative Anforderungen bislang nur unzureichend integriert sind.

Vor diesem Hintergrund untersucht das Projekt LEAP/XR, ob und unter welchen Bedingungen sprachbasierte Lichtintentionen mithilfe von Künstlicher Intelligenz in immersiven Umgebungen operationalisiert werden können. Ziel ist es, die Machbarkeit einer KI-gestützten, sprachgetriebenen Interaktion in XR-Umgebungen systematisch zu explorieren. Im Zentrum steht dabei ein embodied AI-Ansatz, bei dem KI als räumlich situierter Agent innerhalb der virtuellen Umgebung agiert und linguistische Eingaben in Relation zu Raumstruktur, Beobachterposition und wahrnehmungsrelevanten Parametern interpretiert. Der Innovationsgehalt liegt in der integrativen Betrachtung von Sprache, Raum, Wahrnehmung und Normativität sowie in der Untersuchung ihrer Übersetzungsgrenzen innerhalb eines explorativen, interdisziplinären Rahmens.

Als Ergebnis liefert LEAP/XR eine strukturierte Bewertung der technischen, methodischen und konzeptionellen Voraussetzungen für sprachgetriebene Lichtplanung in XR. Erwartet werden belastbare Erkenntnisse darüber, welche Klassen sprachlicher Beschreibungen räumlich und wahrnehmungsbezogen konsistent abgebildet werden können, wo Ambiguitäten oder systematische Grenzen auftreten und welche Planungsentscheidungen sinnvoll durch immersive, KI-gestützte Interaktion unterstützt werden können. Die Ergebnisse bilden eine fundierte Entscheidungsgrundlage für weiterführende Forschungs- und Entwicklungsprojekte und leisten einen Beitrag zur Weiterentwicklung kontextsensitiver, energie- und ressourceneffizienter immersiver Planungstechnologien.

Abstract

The planning of artificial lighting requires the translation of qualitative, often language-based design intentions into quantitative technical parameters. Terms such as atmospheric, safe, or restrained play a central role in early planning phases but can only be formalised to a limited extent. At the same time, immersive technologies such as virtual reality (VR) are increasingly used as tools for the spatial evaluation of lighting effects. However, existing approaches reach their limits, as linguistic meaning, spatial structure, perception, and normative requirements are still insufficiently integrated.

Against this background, the LEAP/XR project investigates whether and under which conditions language-based lighting intentions can be operationalised in immersive environments using artificial intelligence. The aim is to systematically explore the feasibility of AI-supported, language-driven interaction in XR environments. At the core of the project is an embodied AI approach, in which AI acts as a spatially situated agent within the virtual environment, interpreting linguistic input in relation to spatial structure, observer position, and perceptually relevant parameters. The innovative contribution lies in the integrative consideration of language, space, perception, and normativity, as well as in the investigation of their translation limits within an exploratory, interdisciplinary framework.

As an outcome, LEAP/XR provides a structured assessment of the technical, methodological, and conceptual prerequisites for language-driven lighting planning in XR. The project is expected to generate robust insights into which classes of linguistic descriptions can be mapped consistently to spatial and perceptual representations, where ambiguities or systematic limitations arise, and which planning decisions can be meaningfully supported by immersive, AI-assisted interaction. The results form a sound basis for decision-making regarding subsequent research and development activities and contribute to the advancement of context-aware, energy- and resource-efficient immersive planning technologies.

zurück